重慶seo

小鑫優化:robots作用是什么與nofollow有哪些區別

字號+ 作者:admin 來源:未知 2017-04-03 21:47 我要評論( )

重慶網站建設今天就來談談小鑫優化:robots作用是什么與nofollow有哪些區別,先來說第一個問題robots作用是什么。......

重慶網站建設今天就來談談小鑫優化:robots作用是什么與nofollow有哪些區別,先來說第一個問題robots作用是什么。
robots
robots一般用于站長限制搜索引擎訪問頁面,所以說robots是網站跟搜索引擎爬蟲間的協議,一般站長通過txt文本方式告訴搜索引擎爬蟲被允許的權限,一般只要在根域名目錄下,未設置目錄訪問權限的文件爬蟲都可以抓取的到,如果網站跟搜索引擎之間沒有協議,將使不可預知的大量信息泄露到網上,這不是雙方愿意看到的。
robots作用是什么
1.如果網站改版了,整個文件夾都沒有了的時候,這個情況下就要考慮屏蔽掉整個文件夾。我們可以運用robots來對這整個的文件夾進行屏蔽,例如網站里的ab文件夾因改版全都給刪掉了,這個時候就可以這樣子設置:
  User-agent: *
  Disallow: /ab/
2.可以利用各種通配符對網站進行相對應的調配,例如我不想網站抓取我的所有圖片,這個時候就可以運用$來進行設置。一般我們常見的圖片的格式是BMP�.jpg-w600、GIF、JPEG等格式。這個時候設置就是:
  User-agent: *
  Disallow: /.bmp$
  Disallow: /.jpg-w600$
  Disallow: /.gif-w600$
  Disallow: /.jpeg-w600$
3.如果你只想某一個搜索引擎抓取你的信息,這個時候就可以用robots進行設置,例如:我只想我的網站被百度這個收錄,而不想被別的搜索引擎收錄。就可以利用robots進行設置。
  User-agent: Baiduspider
  Allow:
  User-agent: *
  Disallow: /
4.還可以利用*來屏蔽掉相關的URL,有些網站不允許搜索引擎抓取動態地址的時候可以利用這個*通配符來進行匹配設置。一般情況下動態URL的有一個特點就是有“?”這個時候我們就可以利用這個特性來進行匹配的屏蔽:
  User-agent: *
  Disallow: /*?*
5.屏蔽所有的搜索引擎抓取信息,如果你的網站只是你的私密性的網站,不想太多的人知道的話,可以利用robots屏蔽掉所有的搜索引擎,例如你寫的私人博客。你就可以把搜索引擎全都屏蔽掉。
robots與nofollow有哪些區別
robots文件是在根目錄中的一個txt文本文件,里面用代碼語句告訴蜘蛛什么可以抓取,什么不能抓取,從一開始就告訴了蜘蛛:“我有些東西不能讓你看,請你自動繞開。”而nofollow屬性的鏈接,意思是告訴蜘蛛這個鏈接你可以看看,但是跟我網站無關,不要給這個鏈接權重,這是比較直觀的說法。
說得更通俗點robots一開始就告訴蜘蛛我們什么鏈接不要去抓取,而對于nofollow標簽來說,他無法節省我們的蜘蛛資源,連接中加了nofollow標簽,蜘蛛還是會抓取這個鏈接,只是不傳遞權重,也就是我們的網站不對這個鏈接傳遞權重。
轉載請注明:www.4041162.live重慶網站建設

轉載請注明出處。

1.本站遵循行業規范,任何轉載的稿件都會明確標注作者和來源;2.本站的原創文章,請轉載時務必注明文章作者和來源,不尊重原創的行為我們將追究責任;3.作者投稿可能會經我們編輯修改或補充。

相關文章
網友點評
pk北京赛车视频