武漢網絡營銷教你玩轉robots協議

發布時間:2018-01-30 14:30:47   次瀏覽

robots爬蟲協議,相信很多SEOer或個人站長都不會感到陌生,即使剛入行的SEO小白也略有耳聞。對于SEO小白來說,只是聽過robots爬蟲協議并不了解robots協議真正意義和用法。
  什么是robots協議
  robots(中文翻譯為機器人),robots協議即搜索引擎爬蟲協議,它是搜索引擎爬蟲與網站站點溝通的“橋梁”。網站站點通過robots文件中的聲明規則明確告知搜索引擎爬蟲哪些文件/目錄可以抓取,哪些文件/目錄不可以抓取。
  注意:如果網站站點存在不希望搜索引擎爬蟲抓取收錄的內容是,才有必要創建robots.txt文件;如果您希望搜索引擎收錄網站上所有內容,則無需建立robots.txt文件。
 
 
  robots.txt文件的存放位置
  通常,網站的robots.txt文件放置在網站根目錄下,便于搜索引擎爬蟲第一時間抓取該文件。
 
  robots.txt文件格式
  1、robots文件通常包含以一條或多條User-agent開始,后面加上若干條Disallow或Allow。
 
  2、User-agent:用來描述搜索引擎robot的名字。
 
  3、如果存在多條User-agent記錄說明有多個robot會受到"robots.txt"的限制,至少要有一條User-agent記錄。
 
  4、如果User-agent的值設為*,則對任何robot均有效,且"User-agent:*"這樣的記錄只能有一條。
 
  5、如果有"User-agent:SomeBot"和若干Disallow、Allow行,那么搜索引擎爬蟲名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
 
  6、Disallow:用來描述不希望被訪問的一組URL。
 
  7、這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被 robot訪問。
 
  8、比如:"Disallow:/help"這條規則表示的是禁止robot訪問/help.html、/helpabc.html、/help/index.html等。
 
  9、比如:"Disallow:/help/"這條規則表示的是允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html。
 
  10、"Disallow:"說明允許robot訪問該網站的所有url,robots.txt文件中,至少要有一條Disallow記錄。
 
  11、武漢網絡營銷如果網站根目錄下robots.txt不存在或者為空文件,則對于所有的搜索引擎爬蟲來說,該網站都是開放的。
 
  12、Allow:用來描述希望被訪問的一組URL。
  13、與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL 是允許robot訪問的。
 
  14、比如:"Allow:/hibaidu"這條規則表示的是允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。
 
  15、使用"*"and"$":Baiduspider支持使用通配符"*"和"$"來模糊匹配url("*" 匹配0或多個任意字符,"$" 匹配行結束符)。
 
返回新聞列表
眾酷服務
  • 全網營銷推廣
  • SEO
  • 網站建設
  • 新媒體推廣
  • 微信運營
在線留言

online message

—————— 我們的工作人員會盡快與您取得聯系 ——————

等待期間需要獲取更多信息,請 繼續訪問聯系我們
感謝您對眾酷產品及服務的支持。

武漢眾酷網絡科技有限公司

Wuhan Zhongku Netword Technology Co., Ltd

  • 公司座機:400-027-9158
  • 推廣/建站:15342747576(張經理)
  • 技術咨詢:15989566309(周經理)
  • 地址:武漢市洪山區高新二路37號鼎泰大廈502室 (地鐵2號線黃龍山站B出口斜對面80米即到)

站點地圖
Copyright ? 武漢眾酷網絡科技有限公司 版權所有 鄂ICP備16009106號-2                     
黑龙江十一选五12日走势图