諾商資訊

首頁 - 新聞資訊 > 諾商資訊 >

濟南seo-robots.txt常見問題分析

來源:www.tourov.live   發布時間:2016-06-22      瀏覽次數:

  robots.txt是網站主建立與搜索引擎之間溝通的一座橋梁。其文件常見問題很多,下面列舉一些我們經常犯的一些錯誤:

一、robots.txt的位置應該放在那里?

  robots.txt文件應該放置在網站根目錄下。當搜索引擎的蜘蛛程序訪問一個網站(比如http://www.tourov.live/)時,首先會檢查該網站中是否存在http://www.tourov.live/robots.txt這個文件,如果找到這個文件,它就會根據這個文件的內容,來確定它即將要訪問的范圍。

二、濟南seo建立了robots.txt文件屏蔽了網頁,為什么還會出現在搜索結果中呢?

  如果在robots.txt中屏蔽了該url路徑,按常理來將是不會出現的搜索結果中的,但是很多情況下并不是這樣,原因如下:

  1.蜘蛛程序通過其他鏈接直接進入網站的內頁,導致被爬取并收錄;

  2.robots.txt文件是后期修改,搜索結果還未進行更新;

  以上經過一段時間的更新就會逐漸消失,如果被抓取的網頁涉及到一些隱私,可以直接想相關搜索引擎反映。

三、robots.txt中的一些細節問題

  文件中頭字母大小寫;

  注意空格和“/”

四、robots.txt的一些操作事例

  1.禁止搜索搜索引擎訪問網站的任何部分

  User-agent:*

  Disallow:/

  2.允許訪問所有的內容

  User-agent:*
  Disallow:

    或者

  User-agent:*
  Allow:/

  濟南seo建議您:也可以建立一個空的robots.txt文件

  3.僅僅允許google訪問我的網站

  User-agent:Googlebot
  Disallow:/
  User-agent:*
  Disallow:/

  4.禁止訪問指定目錄

  User-agent:*
  Disallow:/abc/
  Disallow:/def/
  Disallow:/ghp/

  5.允許訪問特定目錄

  User-agent:*
  Allow:/abc/abc
  Allow:/def/ef
  Allow:/ghp/look
  Disallow:/abc/
  Disallow:/def/
  Disallow:/ghp/

  6.禁止訪問/abc/目錄下的所有以”.html”為后綴的URL(包含子目錄)

  User-agent:*
  Disallow:/abc/*.html

  7.僅允許訪問以”.html”為后綴的URL

  User-agent:*
  Allow:.html$
  Disallow:/

  8.禁止訪問網站中所有的動態頁面

  User-agent:*
  Disallow:/*?*

  9.禁止抓取網站上所有圖片

  User-agent:*
  Disallow:.jpg$
  Disallow:.jpeg$
  Disallow:.gif$
  Disallow:.png$
  Disallow:.bmp$

  濟南seo提示您:如果還有其他格式,可以再進行添加Disallow:如果允許抓取某一類型的圖片,將“Disallow”修改為“Allow”即可。

  注意以上格式中空格和“/”的使用

  10.允許所有搜索引擎抓取,將自己的網站地圖放進robots.txt文件

  User-agent:*
  Disallow:
  Sitemap:http://www.tourov.live/sitemap1.xml

  robots.txt存在的問題比較多,大家有什么疑問也可以直接留言,方便進一步完善robots.txt常見問題,濟南seo希望您你一起成長。

免費獲取互聯網策劃方案
河南快3开奖号码今天