摘要：上一章搭建風控系統(tǒng)道路上踩過的坑信息采集我們介紹了第一點，如何去獲取足夠多的數(shù)據(jù)，而接下來的事情就是要創(chuàng)建一個機制去靈活的處理這些信息，為自動分析捕捉風險事件提供基礎(chǔ)原料，進而借助規(guī)則引擎從中分析出風險事件。

上一章《搭建風控系統(tǒng)道路上踩過的坑01--信息采集》我們介紹了第一點，如何去獲取足夠多的數(shù)據(jù)，而接下來的事情就是要創(chuàng)建一個機制去靈活的處理這些信息，為自動分析捕捉風險事件提供基礎(chǔ)原料，進而借助規(guī)則引擎從中分析出風險事件。

在開始前，我們還是回顧下業(yè)務(wù)風控主要做四件事：

1、拿到足夠多的數(shù)據(jù)
2、做足夠靈活的分析平臺去分析數(shù)據(jù)
3、產(chǎn)出風險事件進行阻攔風險
4、量化風險攔截的價值和不斷分析案例進行策略優(yōu)化

接下來，同樣的有三件事情需要考慮：

日志并不是簡單的存下來，從風控分析的需求來看，通過IP、用戶名、設(shè)備等維度在一個較長的跨度中搜索信息是非常高頻的行為，同時還存在在特定類型日志，比如在訂單日志或者支付日志中按特定條件搜索的需求。

而這些主要是為了能夠讓分析人員可以快速的還原風險CASE，例如從客服那邊得到了一個被盜的案例，那么現(xiàn)在需要從日志中查詢被盜時間段內(nèi)這個用戶做了什么，這個過程如果有一個界面可以去做查詢，顯然比讓分析人員用grep在一大堆文件中查詢要快的多，并且學習門檻也要低得多。

如果在日志做過標準化的前提下，也可以進行后續(xù)的業(yè)務(wù)語言轉(zhuǎn)譯，將晦澀難懂的日志字段轉(zhuǎn)化為普通員工都能看得懂的業(yè)務(wù)語言，也能極大的提升分析師在還原CASE時閱讀日志的速度。

例如在分析某個帳號被盜CASE的時候，往往需要把被盜期間登錄的IP地址和用戶歷史常用的IP地址進行比對，即使我們現(xiàn)在可以快速的對原始日志進行查詢，篩選一個用戶的所有歷史登錄IP并察看被盜IP在歷史中出現(xiàn)的比例也是一個非常耗時的工作。

再比如我們的風控引擎在自動判斷用戶當前登錄IP是否為常用IP時，如果每次都去原始日志里面查詢聚合做計算也是一個非常“貴”的行為。

那么，如果能預(yù)定義這些變量并提前計算好，就能為規(guī)則引擎和人工節(jié)省大量的時間了，而根據(jù)這些變量性質(zhì)的不同，采取的計算方式也是不同的。不過還好我們有一個標準可以去辨別：頻繁、對時效敏感的利用實時計算（比如訪問頻率、時間間隔）；而相對不頻繁、對時效不敏感的利用定時計算（比如用戶的常用IP、設(shè)備，即使少算短期內(nèi)的登錄記錄，也不會受到太大影響）。

一個設(shè)計優(yōu)雅的規(guī)則引擎是把分析師的經(jīng)驗決策和數(shù)據(jù)最終轉(zhuǎn)化為風險輸出的核心模塊，首先說為什么需要規(guī)則引擎而不是選擇硬編碼邏輯——

筆者無數(shù)次遇到過這種場景，一個上午剛剛上線的策略，沒過1個小時，攻擊者或者欺詐者就已經(jīng)試出繞過策略的方法了，如果你的風險控制邏輯是硬編碼，那么恭喜你，再走一遍開發(fā)測試發(fā)布流程。

快速響應(yīng)是安全的生命線，無法想象還有比被攻擊者胖揍48小時然后才反應(yīng)過來去擋臉更讓人沮喪的事情了。

所以策略引擎必須能把策略邏輯從業(yè)務(wù)邏輯中解藕出來，讓防御者可以靈活配置規(guī)則在靜默模式下驗證和實時上線生效，并可以去隨時調(diào)整。

類似的開源框架有很多，各有優(yōu)劣，但如果需要降低學習曲線，必須進行一層包裝（這里又是一個比較大的話題，就先略過了）。

為了支持并發(fā)和性能，通常在利用集群計算變量的時候我們會用到sharding。

sharding方式會按IP把數(shù)據(jù)分配到不同的運算單元中去處理，在讀取結(jié)果的時候按IP去集群中的某臺機器中去拿數(shù)據(jù)，以大幅提升并發(fā)處理讀取計算結(jié)果的能力。

那么，現(xiàn)在如果我想去按某個USER去拿數(shù)據(jù)的時候，就會發(fā)現(xiàn)一個用戶在不同IP下的信息被保存在不同的服務(wù)器上了，所以單一的Sharding分配肯定是不合理的，這點必須要注意。

有些簡易的策略引擎設(shè)計中用到的變量都是到數(shù)據(jù)庫里現(xiàn)場算的，雖然可以極大的提升靈活性（新的變量不需要考慮歷史數(shù)據(jù)回補），但會極大的影響穩(wěn)定性和響應(yīng)時長，尤其在業(yè)務(wù)請求爆發(fā)的時候幾乎都會出現(xiàn)宕機無響應(yīng)的問題。

要知道業(yè)務(wù)研發(fā)對安全的結(jié)果并不是那么敏感，但如果出現(xiàn)了問題導致應(yīng)用不穩(wěn)定給人添麻煩，被拋棄可能就是早晚的事情，所以變量一定要盡量做到提前計算，并且設(shè)立緩存機制。

毫不夸張的說，合格的風險分析要做的實時、準實時計算量要大過應(yīng)用內(nèi)所有計算的總和甚至超過幾倍。

其實這也很好理解，比如一個典型登錄場景，業(yè)務(wù)要做的邏輯最主要的就是檢查密碼和帳號的身份是否吻合，而風控要把這登錄用戶的歷史檔案全部拉出來看個遍，然后根據(jù)風控策略來決定是否放行。所以在規(guī)劃風險分析要用到的資源時請不要吝嗇，按業(yè)務(wù)5X甚至10X的標準來評估風險分析的資源需求。

如果說信息采集主要看的是安全產(chǎn)品經(jīng)理的溝通協(xié)調(diào)能力，設(shè)計風險分析功能更多的就是考驗安全產(chǎn)品經(jīng)理的邏輯思維能力。

到了這樣一個階段，外部冗雜的溝通協(xié)調(diào)已經(jīng)結(jié)束，但如何最大化利用前期打下的基礎(chǔ)，需要對風險問題的分析、決策過程有一個非常清晰的認識，這里也有一個比較好的標準來去檢驗：

分析平臺設(shè)計的差，那么就只有設(shè)計者自己會用；
設(shè)計的好，你會發(fā)現(xiàn)處理投訴的客服、分析師都會很樂意來用你的分析平臺為他們解決問題。

反爬蟲
文章來源：http://bigsec.com/

劉明 ?豈安科技聯(lián)合創(chuàng)始人，首席產(chǎn)品技術(shù)官
超過6年的風控和產(chǎn)品相關(guān)經(jīng)驗，曾就職網(wǎng)易，負責《魔獸世界》中國區(qū)賬戶體系安全。現(xiàn)帶領(lǐng)豈安互聯(lián)網(wǎng)業(yè)務(wù)風控團隊為客戶提供包括了明星產(chǎn)品Warden和RED.Q的風控服務(wù)。