極簡爬蟲攻防戰(zhàn)紀(jì)要

elliott_hu 發(fā)布于2019-08-26 14:06 / 599人閱讀

摘要：極簡爬蟲攻防戰(zhàn)紀(jì)要爬蟲是構(gòu)建搜索引擎的基礎(chǔ)負(fù)責(zé)抓取網(wǎng)頁信息并對網(wǎng)頁識別分類及過濾。爬蟲方終于鎖定了第一場戰(zhàn)役的勝局由于斷崖式技術(shù)的出現(xiàn)，反爬方在瀏覽器識別戰(zhàn)役上望風(fēng)披靡。經(jīng)過反爬方的精心運(yùn)作，逐漸有效削弱了敵方的攻勢。

極簡爬蟲攻防戰(zhàn)紀(jì)要

    ? ??爬蟲是構(gòu)建搜索引擎的基礎(chǔ), 負(fù)責(zé)抓取網(wǎng)頁信息并對網(wǎng)頁識別、分類及過濾。我們熟識的電商、搜索、新聞及各大門戶網(wǎng)站都有強(qiáng)大的爬蟲集群在每天高負(fù)荷運(yùn)轉(zhuǎn): 京東 v.s. 淘寶 v.s. 拼多多相互之間"友好地"價格監(jiān)控, 頭條 v.s. 網(wǎng)易 v.s. 騰訊相互之間"和諧地"新聞消息聚合借鑒, Google / 百度 / 搜狗紛紛盡職地做網(wǎng)頁信息的搜索優(yōu)化以及各大研究機(jī)構(gòu)賣力地進(jìn)行數(shù)據(jù)集構(gòu)建。
        ? ??然而, 各大網(wǎng)站是不太會對非搜索引擎的爬蟲網(wǎng)開一面、任其予取予求的，畢竟無論什么時候，內(nèi)容的價值都是顯而易見的，所以就有了下面的爬蟲方與反爬方的混戰(zhàn)大戲~
        ? ??各個巨頭之間的爬蟲與反爬蟲的攻防戰(zhàn)斗沒有一刻放松, 反爬網(wǎng)站要想制定反爬策略, 就要根據(jù)爬蟲的特性針對性選擇方案, 那么爬蟲有什么特點? 腳本 + 自動化。因此反爬方的毀滅性大招無非兩個:

非腳本訪問 => 瀏覽器真實性檢測

非自動化訪問 => 訪問用戶真實性檢測

慘烈的戰(zhàn)斗即將打響! 非戰(zhàn)斗人員迅速撤離!

Round One: Are you Really a Browser?

    ? ??瀏覽器由于其運(yùn)行環(huán)境及運(yùn)行原理, 會自帶一些特有的屬性: 存在Headers用于協(xié)議negotiation、可執(zhí)行JavaScript代碼片段。那么反爬方的第一個堡壘就基于瀏覽器的真實性檢測開始構(gòu)建。
    ? ??戰(zhàn)役伊始, 反爬蟲方率先祭出User-Agent, Content-Type, Application/*,iAccept-Encoding, Accept-Language, X-Forwarded-For, Referer等headers電網(wǎng), 第一批與正常瀏覽器headers不同的爬蟲紛紛觸發(fā), 瞬間斃命。然而, 爬蟲方也不是吃素的!  他們用了一招漂亮的瞞天過海, 迅速通過偽造headers的方式突破防線! 
    ? ??反爬方絲毫不慌, 在html中添加了一段JavaScript腳本地雷, 己方瀏覽器由于提前知道了地雷的位置，可以安全繞過, 不會影響正常的網(wǎng)頁顯示, 爬蟲方卻不明就里, 紛紛中招, 非死即傷，直到大殺器Node.js出現(xiàn)，可以直接執(zhí)行JavaScript，爬蟲方終于奮起反擊，再下一城!![image.png](https://intranetproxy.alipay.com/skylark/lark/0/2019/png/88875/1565271756288-b128de6c-0efa-42bb-9b56-8fdc09caaf77.png#align=left&display=inline&height=178&name=image.png&originHeight=178&originWidth=984&size=194086&status=done&width=984)
    ? ??反爬方一計不成又生一計, 采用了迷宮式防御 — 單頁應(yīng)用 — 的方式重鑄了堡壘，爬蟲方費(fèi)盡了心機(jī)卻由于單頁應(yīng)用巧妙的構(gòu)筑方式而解析不到任何數(shù)據(jù)，一時間被繞得暈頭轉(zhuǎn)向，束手無策，單頁應(yīng)用統(tǒng)治了戰(zhàn)場！反爬方開始了單方面的屠殺，爬蟲方的士氣一蹶不振…...**千軍坐鎮(zhèn)，百將舍身，十年磨劍，一鳴驚人！**終于，這場戰(zhàn)役的終結(jié)者出現(xiàn)了，他就是，Headless Chrome技術(shù)！新技術(shù)一出現(xiàn)，爬蟲方的武器庫煥然一新：Selenium,Puppeteer, PhantomJS, CasperJS等重裝攻城殺器不斷建功，反爬方一潰千里。爬蟲方終于鎖定了第一場戰(zhàn)役的勝局！

Round Two：Are you Really a Human？

    ? ??由于斷崖式技術(shù)Headless Chrome的出現(xiàn)，反爬方在瀏覽器識別戰(zhàn)役上望風(fēng)披靡。然而勝敗乃兵家常事，東方不亮西方亮。在數(shù)據(jù)保衛(wèi)戰(zhàn)生死存亡的關(guān)頭, 反爬方偶然發(fā)現(xiàn)了一個現(xiàn)象，瀏覽器雖然很難識別，但是人性是貪婪的！人類能做到很多腳本做不到的事！甚至人類的行為也是有固定的規(guī)律的！就這樣，反爬方臥薪嘗膽了許久，終于再次踏上了戰(zhàn)場！這一役的制高點，是一個靈魂兼哲學(xué)的雙層拷問：**你到底是不是人？！**
        ? ??第一層防線直指爬蟲方的要害 — 貪欲（訪問頻率）！每秒鐘請求10次這種高頻訪問，怎么可能發(fā)生在一個人類的身上，斬！爬蟲方不得不大幅降低了攻擊頻率，反爬方終于緩了一口氣。
        ? ??第二層防線指向爬蟲方的痛處 — 懶惰（固定IP）！最近的幾百次請求，都是同一個IP發(fā)出來的，世間哪有這么無聊的人？斬！爬蟲方為此不得不付出巨大的代價來購買代理ip，即使是這樣，反爬方依然可以通過封禁公網(wǎng)IP的方式來緊掉大量的代理地址。經(jīng)過反爬方的精心運(yùn)作，逐漸有效削弱了敵方的攻勢。
       ? ??戰(zhàn)役再次升級，反爬方請出了大國重器：驗證碼！大國重器上線不久即大獲成功，爬蟲方立刻損失慘重，仿佛一夜之間，所有的攻城器械都告無效，攻堅戰(zhàn)陷入了僵局……直到爬蟲方積年的技術(shù)積累取得的OCR重劍技術(shù)破土而出，才逐漸扭轉(zhuǎn)頹勢，但是依然不能壓制攻下的城池內(nèi)地下黨的反撲, 尤其是爬蟲方主力Google的反水技術(shù)：
![image.png](https://intranetproxy.alipay.com/skylark/lark/0/2019/png/88875/1565271766680-40f3be34-fcb7-4122-b998-bbc725706240.png#align=left&display=inline&height=110&name=image.png&originHeight=110&originWidth=424&size=14653&status=done&width=424)
甫一投戰(zhàn)，反爬方立即大獲全勝！
        ? ??最后，反爬方乘勝追擊，祭出了終極防御：模式識別。爬蟲畢竟不是人類，在請求的時候只能機(jī)械地設(shè)置目標(biāo)資源的請求id和請求參數(shù)，這就導(dǎo)致請求參數(shù)和請求順序必定是一致的。利用這一規(guī)律，反爬方通過設(shè)置閾值的方式對請求進(jìn)行統(tǒng)計和識別，終于徹底杜絕了爬蟲偽裝成人類的進(jìn)攻！第二場戰(zhàn)役，反爬方勝利！

兩場戰(zhàn)役下來, 雙方互有勝負(fù),激烈的戰(zhàn)斗仍在繼續(xù)。恭祝雙方戰(zhàn)出友誼, 戰(zhàn)出激情!
--?一個曾經(jīng)親歷過爬蟲與反爬蟲之戰(zhàn)的老兵為您現(xiàn)場報導(dǎo), 感謝您的收看, 再見!