資訊專欄INFORMATION COLUMN
摘要：事后策略指感知到有爬蟲事件后，采取的封禁驗證碼等組合策略。三反爬架構(gòu)什么樣數(shù)據(jù)支撐平臺通過埋點采集等方式接入各類維度的基礎(chǔ)數(shù)據(jù)和第三方指紋，封裝成統(tǒng)一的數(shù)據(jù)輸出形式。
一、反爬體系要做什么
完整的反爬體系有三大部分工作要做：感知識別、策略分析、監(jiān)控封禁。
（一）感知識別：
數(shù)據(jù)支撐：爬蟲指紋、設(shè)備指紋、風(fēng)險UA、IP庫等，不同端指紋的mapping等。
數(shù)據(jù)感知，什么人，通過什么方式，用什么爬蟲，在什么時間，爬取了我們什么內(nèi)容。
（二）策略分析：
事前策略：通過技術(shù)手段，在源頭使攻擊者無法爬取。
事后策略：指感知到有爬蟲事件后，采取的封禁、驗證碼等組合策略。
（三）識別封禁：
離線識別：通過數(shù)據(jù)埋點監(jiān)控，可離線分析爬蟲情況，實時性差，但對業(yè)務(wù)無任何影響。
在線識別：在線檢測服務(wù)，在業(yè)務(wù)關(guān)鍵節(jié)點，調(diào)用在線檢測服務(wù)，實時感知爬蟲情況。
離線阻斷：離線分析后，根據(jù)策略篩選出要封禁的IP、UA、Session、userid等，調(diào)用封禁服務(wù)統(tǒng)一封禁。
在線阻斷：在線檢測到爬蟲行為后，直接調(diào)用封禁服務(wù)阻斷爬蟲。
二、反爬策略有哪些
（一）事前策略：
js計算：js添加簡單的數(shù)學(xué)計算，要求瀏覽器計算結(jié)果之后，返回給后端校驗計算結(jié)果，來識別是否是爬蟲行為。
js生成動態(tài)url：
生成動態(tài)參數(shù)：訪問頁面，先返回js腳本，js生成一個新參數(shù)，加入原請求中，再訪問，才可得到數(shù)據(jù)。
生成動態(tài)地址：訪問頁面，先返回js腳本，js生成新接口地址，再訪問新接口，才可得到數(shù)據(jù)。
js生成動態(tài)頁面：動態(tài)生成js標簽
因為js對用戶是可見的，所以要盡量提升攻擊成本，要寫難懂的js，比如大量使用eval和goto，比如做js混淆、js壓縮等。
（二）事后策略：
閾值封鎖
IP維度：常見，但有兩個缺陷：容易誤傷普通用戶，容易被繞過。
Session或uid等維度：需要考慮不同業(yè)務(wù)的Session或uid邏輯，是否唯一穩(wěn)定？是否非空？
UA維度：誤殺非常嚴重，除非能準確識別爬蟲UA。
設(shè)備指紋：PC、APP、小程序。
投毒：命中相應(yīng)策略后，后端給前端反回一定比例的假數(shù)據(jù)。
驗證碼：圖形、劃動、短信、人臉、聲紋。
加密：app參數(shù)加密，PC小程序前后端加密。前端加密需要做js混淆等處理。
三、反爬架構(gòu)什么樣
數(shù)據(jù)支撐平臺：通過埋點、采集等方式接入各類維度的基礎(chǔ)數(shù)據(jù)和第三方指紋sdk，封裝成統(tǒng)一的數(shù)據(jù)輸出形式。數(shù)據(jù)輸出可以接口、db、log等不同形式。
數(shù)據(jù)分析平臺；輸入支撐數(shù)據(jù)，輸出爬蟲畫像。
策略分析平臺：輸入爬蟲畫像，采取不同策略，輸出策略分析結(jié)果。
上報阻斷平臺：輸入策略分析結(jié)果，上報給運維，做阻斷。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/11993.html
摘要：事后策略指感知到有爬蟲事件后，采取的封禁驗證碼等組合策略。三反爬架構(gòu)什么樣數(shù)據(jù)支撐平臺通過埋點采集等方式接入各類維度的基礎(chǔ)數(shù)據(jù)和第三方指紋，封裝成統(tǒng)一的數(shù)據(jù)輸出形式。 一、反爬體系要做什么 完整的反爬體系有三大部分工作要做：感知識別、策略分析、監(jiān)控封禁。 （一）感知識別： 數(shù)據(jù)支撐：爬蟲指紋、設(shè)備指紋、風(fēng)險UA、IP庫等，不同端指紋的mapping等。 數(shù)據(jù)感知，什么人，通過什么方式...
摘要：以上是如果你想精通網(wǎng)絡(luò)爬蟲的學(xué)習(xí)研究路線，按照這些步驟學(xué)習(xí)下去，可以讓你的爬蟲技術(shù)得到非常大的提升。 作者：韋瑋 轉(zhuǎn)載請注明出處 隨著大數(shù)據(jù)時代的到來，人們對數(shù)據(jù)資源的需求越來越多，而爬蟲是一種很好的自動采集數(shù)據(jù)的手段。 那么，如何才能精通Python網(wǎng)絡(luò)爬蟲呢？學(xué)習(xí)Python網(wǎng)絡(luò)爬蟲的路線應(yīng)該如何進行呢？在此為大家具體進行介紹。 1、選擇一款合適的編程語言 事實上，Python、P...
摘要：不過，字體反爬也沒有用，畢竟我們會破哈哈。抖音的字體反爬是在一個分享個人主頁的鏈接中，別的鏈接暫時沒有測試，不過破了一個其他的也就破了。下載完之后我們可以用的一個工具包來查看字體映射。 現(xiàn)在的網(wǎng)站，處處都是反爬，我們這些爬蟲的經(jīng)常需要和他們斗智斗勇，就看誰更厲害。這不，就連字體也弄成了反爬，而且還不止一個網(wǎng)站，常見的就有貓眼和汽車之家。不過，字體反爬也沒有用，畢竟我們會破！哈哈。 抖音...
摘要：極簡爬蟲攻防戰(zhàn)紀要爬蟲是構(gòu)建搜索引擎的基礎(chǔ)負責(zé)抓取網(wǎng)頁信息并對網(wǎng)頁識別分類及過濾。爬蟲方終于鎖定了第一場戰(zhàn)役的勝局由于斷崖式技術(shù)的出現(xiàn)，反爬方在瀏覽器識別戰(zhàn)役上望風(fēng)披靡。經(jīng)過反爬方的精心運作，逐漸有效削弱了敵方的攻勢。 極簡爬蟲攻防戰(zhàn)紀要 ? ??爬蟲是構(gòu)建搜索引擎的基礎(chǔ), 負責(zé)抓取網(wǎng)頁信息并對網(wǎng)頁識別、分類及過濾。我們熟識的電商、搜索、新聞及各大門戶網(wǎng)站都有強大的爬蟲集群在每...
摘要：通過本文的學(xué)習(xí)，可以快速掌握網(wǎng)絡(luò)爬蟲基礎(chǔ)，結(jié)合實戰(zhàn)練習(xí)，寫出一些簡單的爬蟲項目。從技術(shù)手段來說，網(wǎng)絡(luò)爬蟲有多種實現(xiàn)方案，如。二網(wǎng)絡(luò)爬蟲技術(shù)基礎(chǔ)在本次課中，將使用技術(shù)手段進行項目的編寫。 摘要：本文詳細講解了python網(wǎng)絡(luò)爬蟲，并介紹抓包分析等技術(shù)，實戰(zhàn)訓(xùn)練三個網(wǎng)絡(luò)爬蟲案例，并簡單補充了常見的反爬策略與反爬攻克手段。通過本文的學(xué)習(xí)，可以快速掌握網(wǎng)絡(luò)爬蟲基礎(chǔ)，結(jié)合實戰(zhàn)練習(xí)，寫出一些簡單的...
閱讀 3425·2021-11-25 09:43
閱讀 2310·2021-09-06 15:02
閱讀 3551·2021-08-18 10:21
閱讀 3349·2019-08-30 15:55
閱讀 2356·2019-08-29 17:06
閱讀 3540·2019-08-29 16:59
閱讀 971·2019-08-29 13:47
閱讀 2772·2019-08-26 13:24
