Nginx 限制百度等爬蟲連接

yearsj 發(fā)布于2019-07-25 13:40 / 1005人閱讀

摘要：目的每兩秒允許個來自頭包含等的爬蟲類請求測試官方文檔中文相關(guān)解釋

目的: 每兩秒允許1個來自header頭包含Baiduspider等的爬蟲類請求

http {

map $http_user_agent $is_limited_bot {
    "~Baiduspider" 1;
    "~OtherSpider" 2;
    default "";
}
limit_req_zone  $is_limited_bot zone=botzone:10m   rate=30r/m;

server {
    ...

    location / {
        ...

        limit_req zone=botzone burst=5;
    }
}

}

測試: curl -I http://example.com -A OtherSpider

Nginx官方文檔:http://nginx.org/en/docs/http/ngx_http_limit_req_module.html
中文相關(guān)解釋:http://storysky.blog.51cto.com/628458/642970/

GPU云服務(wù)器云服務(wù)器 nginx爬蟲 nginx限制ip訪問百度爬蟲限制爬蟲

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/39277.html

相關(guān)文章

網(wǎng)站信息采集

摘要：網(wǎng)站信息采集在編寫爬蟲之前可能需要先了解和搜集網(wǎng)站信息協(xié)議也稱為爬蟲協(xié)議機器人協(xié)議等的全稱是網(wǎng)絡(luò)爬蟲排除標準，網(wǎng)站通過協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。網(wǎng)站信息采集在編寫爬蟲之前可能需要先了解和搜集網(wǎng)站信息 robots.txt Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是網(wǎng)絡(luò)爬蟲排除標準（Robots Exclusion Protocol），網(wǎng)站通過...

AZmake 2019-07-30 15:32 評論0 收藏0
Angular2 網(wǎng)站 SEO 攻略

摘要：使用生成靜態(tài)頁，再配置在爬蟲訪問時提供靜態(tài)頁中的內(nèi)容。如何在爬蟲訪問時讓爬蟲獲取到靜態(tài)頁中的內(nèi)容要演練此部分內(nèi)容，首先你要把網(wǎng)站用部署。 Angular 的優(yōu)點有很多，但如果用它來開發(fā)網(wǎng)站的話，就不得不面對它的兩大缺點：首頁加載慢搜索引擎的爬蟲獲取不到頁面內(nèi)容由于 Angular 是通過 js 動態(tài)生成 dom 并插入到頁面中，搜索引擎默認只能獲得頁面的標題。我們可以使用 c...

niuxiaowei111 2019-07-25 14:15 評論0 收藏0
基于python的百度云網(wǎng)盤資源搜索引擎設(shè)計架構(gòu)

摘要：大家都知道百度云網(wǎng)盤上有很多分享的資源，包括軟件各類視頻自學(xué)教程電子書甚至各種電影種子應(yīng)有盡有，但百度云卻沒有提供相應(yīng)的搜索功能。于是就嘗試開發(fā)一個百度云資源的搜索系統(tǒng)。大家都知道百度云網(wǎng)盤上有很多分享的資源，包括軟件、各類視頻自學(xué)教程、電子書、甚至各種電影、BT種子應(yīng)有盡有，但百度云卻沒有提供相應(yīng)的搜索功能。個人平時要找一些軟件、美劇覺得非常蛋疼。于是就嘗試開發(fā)一個百度云資源的搜索...

williamwen1986 2019-07-25 10:23 評論0 收藏0
18年求職面經(jīng)及總結(jié)

摘要：年求職面經(jīng)及總結(jié)我的求職之路差不多走到盡頭了感覺真是精疲力盡了把這大半年的經(jīng)歷和面試總結(jié)寫下來希望能給和我一樣在求職路上煎熬的人一點幫助先說背景微電子科學(xué)與工程專業(yè)學(xué)過兩門和相關(guān)的課程語言和單片機這個專業(yè)的唯一好處就是大部分人并不知道這個專 18年求職面經(jīng)及總結(jié) 我的求職之路差不多走到盡頭了,感覺真是精疲力盡了.把這大半年的經(jīng)歷和面試總結(jié)寫下來,希望能給和我一樣在求職路上煎熬的人一點幫...

zhangwang 2019-08-22 11:07 評論0 收藏0
18年求職面經(jīng)及總結(jié)

摘要：年求職面經(jīng)及總結(jié)我的求職之路差不多走到盡頭了感覺真是精疲力盡了把這大半年的經(jīng)歷和面試總結(jié)寫下來希望能給和我一樣在求職路上煎熬的人一點幫助先說背景微電子科學(xué)與工程專業(yè)學(xué)過兩門和相關(guān)的課程語言和單片機這個專業(yè)的唯一好處就是大部分人并不知道這個專 18年求職面經(jīng)及總結(jié) 我的求職之路差不多走到盡頭了,感覺真是精疲力盡了.把這大半年的經(jīng)歷和面試總結(jié)寫下來,希望能給和我一樣在求職路上煎熬的人一點幫...

fjcgreat 2019-08-01 17:38 評論0 收藏0