如何使用robots禁止各大搜索引擎爬蟲爬取網站

RyanHoo 發布于2019-04-23 13:26 / 3088人閱讀

摘要：由于公司網站配置的測試環境被百度爬蟲抓取，干擾了線上正常環境的使用，剛好看到每次搜索淘寶時，都會有一句由于文件存在限制指令無法提供內容描述，于是便去學習了一波原來一般來說搜索引擎爬取網站時都會，先讀取下文件，并依照里面所設定的規則去爬取

ps：由于公司網站配置的測試環境被百度爬蟲抓取，干擾了線上正常環境的使用，剛好看到每次搜索淘寶時，都會有一句由于robots.txt文件存在限制指令無法提供內容描述，于是便去學習了一波

　　　1.原來一般來說搜索引擎爬取網站時都會，先讀取下robots.txt文件，并依照里面所設定的規則去爬取網站（當然是指沒用登錄限制的頁面）

　　　 2.下面我們就來說一說如何設置robots.txt文件

　　　　1）.robots.txt文件必須是放在文件根目錄上：
　　　　　　例如：

　　　　　　　　├─admin

　　　　　　　　│ ?└─templates

　　　　　　　　│ ?????????header.tpl.php

　　　　　　　　│ ?????????task_add.tpl.php

　　　　　　　　│? ?└─robots.txt

　　　　 2 ) .首先常用的命令為

　　　　　　　　User-agent : 可以具體制定User-agent適用，即搜索引擎的名字，如果為 * 的話則為通配

　　　　　　　　Disallow : 可以設定檔案或文件夾，不允許被爬蟲爬取，且為 / 時禁止爬取整站，也可以指定文件路徑，不可爬取

　　　　　　　　Crawl-delay: 延時爬取，防止爬蟲短時間內爬取網站過快導致網站崩潰，則可以設置該延時

　　　　　　　　Allow : 允許爬取指定頁面，為 / 時爬取整站

　　　　3）搜索引擎別稱

　　　　　　　　Googlebot 谷歌

?　　　　　　　　Baiduspider 百度

　　　　　　　　等等

　　類似我們測試環境就設置了

　　　　User-agent : / 所有搜索引擎

　　　　Disallow : / 禁止整站

GPU云服務器云服務器爬蟲如何使用如何使用網絡爬蟲爬蟲爬取數據 java爬蟲爬取數據

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/1875.html

Python3網絡爬蟲實戰---23、使用Urllib：分析Robots協議

摘要：比如我們可以設置這就代表我們設置的規則對百度爬蟲是有效的。上一篇文章網絡爬蟲實戰使用解析鏈接下一篇文章網絡爬蟲實戰基本使用上一篇文章：Python3網絡爬蟲實戰---22、使用Urllib：解析鏈接下一篇文章：Python3網絡爬蟲實戰---24、requests：基本使用利用 Urllib 的 robotparser 模塊我們可以實現網站 Robots 協議的分析，本節我們來簡...

kaka 2019-07-31 10:35 評論0 收藏0
11、web爬蟲講解2—Scrapy框架爬蟲—Scrapy使用

摘要：百度云搜索，搜各種資料搜網盤，搜各種資料表達式表示向下查找層指定標簽，如表示查找所有標簽表示向下查找一層指定的標簽表示查找指定屬性的值可以連綴如屬性名稱屬性值表示查找指定屬性等于指定值的標簽可以連綴，如查找名稱等于指定名稱的標簽獲取標簽文本【百度云搜索，搜各種資料:http://www.lqkweb.com】【搜網盤，搜各種資料:http://www.swpan.cn】 xpath...

trilever 2019-07-31 11:23 評論0 收藏0
Python爬蟲筆記1-爬蟲背景了解

摘要：學習爬蟲的背景了解。但是搜索引擎蜘蛛的爬行是被輸入了一定的規則的，它需要遵從一些命令或文件的內容，如標注為的鏈接，或者是協議。不同領域不同背景的用戶往往具有不同的檢索目的和需求，搜索引擎無法提供針對具體某個用戶的搜索結果。學習python爬蟲的背景了解。大數據時代數據獲取方式如今，人類社會已經進入了大數據時代，數據已經成為必不可少的部分，可見數據的獲取非常重要，而數據的獲取的方式...

oujie 2019-07-31 10:02 評論0 收藏0
scrapy提升篇之配置

摘要：提升篇之配置增加并發并發是指同時處理的的數量。其有全局限制和局部每個網站的限制。使用級別來報告這些信息。在進行通用爬取時并不需要，搜索引擎則忽略。禁止能減少使用率及爬蟲在內存中記錄的蹤跡，提高性能。 scrapy提升篇之配置增加并發并發是指同時處理的request的數量。其有全局限制和局部(每個網站)的限制。Scrapy默認的全局并發限制對同時爬取大量網站的情況并不適用，因此您需要...

劉永祥 2019-07-31 10:55 評論0 收藏0