摘要：在信息流排序方面，運用了的深度學(xué)習(xí)模型，并在準(zhǔn)確度方面獲得了顯著的成果，促進(jìn)了用戶增長和參與度的提升。大型的研究團(tuán)隊被組建起來，很多野心勃勃的項目基于各種原因開始使用深度學(xué)習(xí)。基于上述的各種原因，我們認(rèn)為深度學(xué)習(xí)是更好的方案。

不知道微博上多久沒有收到主動推送的關(guān)心的親友消息了；廣告除外。可見信息流做好不是一件容易的事情。Twitter 在信息流排序方面，運用了的深度學(xué)習(xí)模型，并在準(zhǔn)確度方面獲得了顯著的成果，促進(jìn)了用戶增長和參與度的提升。更為重要的是這為我們打開了一扇大門，說明我們可以使用由深度學(xué)習(xí)社區(qū)提供的各種新穎的技術(shù)，讓基于機(jī)器學(xué)習(xí)的產(chǎn)品從這些技術(shù)中獲益。看到這篇文章之后，我們的社區(qū)編輯馬上申請了授權(quán)，Twitter 的作者表示得很重視，要求翻譯后要讓他們懂 Mandarin 的工程師審校。

最后Twitter 工程師在我們專業(yè)的翻譯上，進(jìn)行了一字一句的審校，如下圖：

下面我們看看該文正文吧：）

這篇文章由來自 Twitter 的 Nicolas Koumchatzky 和 Anton Andryeyev 共同撰寫，最初發(fā)表在 Twitter 的博客上。以下內(nèi)容已經(jīng)獲得 Twitter 的翻譯授權(quán)，并已通過 Twitter 的審校，點擊閱讀原文可查看英文原文：Using Deep Learning at Scale in Twitter"s Timelines。

從我們開始對信息流進(jìn)行改進(jìn)到現(xiàn)在已經(jīng)有一年多時間了，我們進(jìn)一步改進(jìn)了底層的算法，從而為用戶呈現(xiàn)具有更高相關(guān)度的內(nèi)容。

我們將會在這篇文章里介紹我們基于深度神經(jīng)網(wǎng)絡(luò)的信息流排序算法，以及由 Twitter 內(nèi)部 AI 團(tuán)隊 Cortex 構(gòu)建的 AI 平臺和它提供的建模功能。簡而言之，現(xiàn)在和未來的 Twitter 信息流將具有更高的相關(guān)度。這為我們打開了一扇大門，我們可以使用由深度學(xué)習(xí)社區(qū)提供的各種新穎的技術(shù)，特別是在 NLP（自然語言處理）、對話理解和媒體領(lǐng)域。

我們?nèi)绾螌π畔⒘鬟M(jìn)行排序？ ?

在引入排序算法之前，信息流的組成非常簡單：收集所有由你的關(guān)注對象在你最后一次登錄 Twitter 之后發(fā)送的推文，再將它們按照時間倒序顯示出來。這個看起來很簡單，但要為數(shù)以億計的 Twitter 用戶提供這種穩(wěn)定的體驗對我們來說是一個巨大的挑戰(zhàn)，它對我們的基礎(chǔ)設(shè)施和運維能力提出了很高的要求。

在引入排序算法之后，信息流的組成變得更加豐富。在收集推文之后，我們使用相關(guān)度模型對它們打分。這個分?jǐn)?shù)是針對每個用戶對推文感興趣程度的預(yù)測。具有較高分?jǐn)?shù)的推文被展示在信息流的最上面，其他推文緊隨其后顯示。根據(jù)你的信息流中已有的推文數(shù)量以及從你最后一次登錄 Twitter 至今的時間長短，我們還可能專門為你提供一個“你可能錯過的推文”模塊。這個模塊只包含少量具有較高相關(guān)度的推文。這樣做的目的是希望你能夠先看到重要的推文，然后再進(jìn)一步查看按照時間排序的部分。

為了預(yù)測推文的相關(guān)度，我們的模型考慮到了以下幾個特征。

推文本身：鮮活度（recency）、是否包含媒體卡（圖像或視頻）、互動情況（如轉(zhuǎn)發(fā)或點贊次數(shù)）。

推文的作者：你過去與作者的互動情況、你與作者之間關(guān)系的緊密程度、你與作者之間的關(guān)系是如何建立的。

你自己：你參與過互動的推文、你使用 Twitter 的頻率和使用程度。我們使用的特征和各種特征之間的關(guān)系在不斷增長，我們的模型因此能夠識別出更為較精確的行為模式。

每次在你打開手機(jī)或刷新信息流的時候，我們都會對推文進(jìn)行打分，以便確定哪些推文可以被展示在信息流的最上面。打分這一舉動對我們的信息流服務(wù)基礎(chǔ)設(shè)施提出了很高的計算要求，因為我們現(xiàn)在每秒鐘要對數(shù)千條推文進(jìn)行打分。雖然更豐富的模型可以提高推文排序的質(zhì)量，但對于像 Twitter 這樣的實時社交公司來說，速度與質(zhì)量同樣重要。Twitter 獨特的挑戰(zhàn)在于如何為查看信息流的用戶進(jìn)行快速實時的打分，并且擁有足夠強(qiáng)大的模型來保證排序質(zhì)量以及后續(xù)的改進(jìn)。

選擇正確的方式來構(gòu)建和運行預(yù)測模型深切影響著每一個用戶使用 Twitter 的體驗。

信息流排序?qū)C(jī)器學(xué)習(xí)平臺的要求 ?

在上一個小節(jié)中，我們已經(jīng)得出這樣的結(jié)論：要在 Twitter 的生產(chǎn)環(huán)境運行這些模型，它們必須滿足很多要求。

預(yù)測的質(zhì)量和速度

資源的利用率

可維護(hù)性

我們通過兩種方式來衡量模型的質(zhì)量。首先，在進(jìn)行模型訓(xùn)練過程中，我們使用定義明確的準(zhǔn)確率度量指標(biāo)。這些指標(biāo)可以告訴我們?nèi)蝿?wù)的執(zhí)行情況，并為相關(guān)度高的推文打較高的分?jǐn)?shù)。最終模型的準(zhǔn)確率雖然可以作為早期指標(biāo)，但并不能可靠的預(yù)測 Twitter 用戶會如何與推文互動。

我們通過運行 AB 測試和比較實驗結(jié)果來衡量 Twitter 用戶的受影響程度。我們所使用的一系列度量指標(biāo)與 Twitter 的使用情況和受歡迎程度有關(guān)。例如，我們跟蹤每個用戶的參與次數(shù)，或者他們在 Twitter 上所花費的時間。在結(jié)束一次 AB 測試后，我們不僅能判斷新模型是否能夠為用戶帶來更愉悅的體驗，還能衡量出模型改進(jìn)的程度。在像 Twitter 這么大規(guī)模的信息流排序系統(tǒng)里，模型的一個很小改進(jìn)就可以對用戶體驗帶來重大的影響。

最后，即使我們能夠達(dá)到模型質(zhì)量和速度方面的要求，要啟用一個新模型還會受到一些其他的限制，這個與發(fā)布其他功能特性是一樣的。我們需要知道模型將會帶來什么樣的影響，并將它與這個模型可能增加的成本進(jìn)行對比，在兩者之間做出權(quán)衡。增加的成本可能來自硬件或者更復(fù)雜的運維和支持。

除了預(yù)測模型之外，信息流對機(jī)器學(xué)習(xí)框架也提出了類似的要求。我們可以基于這些框架定義、訓(xùn)練、計算和運行預(yù)測模型。我們著重關(guān)注以下幾個問題。

大數(shù)據(jù)集的訓(xùn)練速度和伸縮性

對新技術(shù)的可擴(kuò)展性

易用的訓(xùn)練、調(diào)試、計算和部署的工具

在使用機(jī)器學(xué)習(xí)的開始階段，選擇好的模型（不管它是如何生成的）是最重要的。畢竟，我們是想要驗證預(yù)測模型的可行性。

不過，隨著預(yù)測流水線的日漸成熟，機(jī)器學(xué)習(xí)框架的易用性、伸縮性和可擴(kuò)展性變得越來越重要。一個脆弱復(fù)雜且只能被少數(shù)幾個工程師理解或擴(kuò)展的框架是不會長久的，就算它有性能方面的優(yōu)勢。隨著數(shù)據(jù)挖掘、特性工程和快速實驗等方面工作的不斷深入，系統(tǒng)的核心工程特征變得越來越重要。一個穩(wěn)定靈活的框架可以帶來可重復(fù)的性能收益。AI 社區(qū)提供了大量的新算法和模型，一個支持深度學(xué)習(xí)和復(fù)雜圖的平臺正是我們利用這些新算法和模型的關(guān)鍵。

在信息流排序算法中引入深度學(xué)習(xí) ?

因為早期在圖像和語言理解方面的成果，深度學(xué)習(xí)成為很多科技公司必備的技術(shù)。大型的研究團(tuán)隊被組建起來，很多野心勃勃的項目基于各種原因開始使用深度學(xué)習(xí)。

直接的結(jié)果就是，很多新的模型被發(fā)明出來，用于解決領(lǐng)域問題。人類的大腦與算法之間的能力差距在縮小。這種繁榮和多樣化主要歸因于深度學(xué)習(xí)固有的模塊化特性。深度學(xué)習(xí)模塊可以以任意的方式進(jìn)行組合（堆疊、連接，等等），然后形成計算圖。圖的參數(shù)可以通過學(xué)習(xí)獲得，一般使用反向傳播（back-propagation）或 mini batch 的隨機(jī)梯度下降（SGD）。

“低階”模塊可以是任何東西，只要它們能夠根據(jù)輸入數(shù)據(jù)計算出輸出數(shù)據(jù)和必要的梯度。實際上，這個領(lǐng)域最近的一些框架（torch-autograd、PyTorch、TensorFlow）針對基本的算符，甚至提供了全自動的輸出和梯度計算，并讓框架自己生成計算圖。Torch-autograd 和 PyTorch 則更進(jìn)一步，它們支持動態(tài)的計算圖，允許計算圖在不同的 mini batch 之間變化。

這些計算圖的吸引力，不僅源于它們非常強(qiáng)大的建模能力，還因為它們的訓(xùn)練具有可伸縮性。這些模型是基于數(shù)據(jù)的 mini batch 展開學(xué)習(xí)的，因此總的數(shù)據(jù)集可以非常大。

回到推文排序的問題。推文排序與大多數(shù)研究人員和深度學(xué)習(xí)算法專注的領(lǐng)域是不一樣的，因為 Twitter 的數(shù)據(jù)特征是稀疏的。因為各種原因，比如可用性和延遲方面的要求，并不能保證每一個特征都能被可靠的保留或記錄下來。

一般情況下，可以使用其他一些算法來解決這些問題，比如決策樹、邏輯回歸、特征交叉和離散化。實際上，在一開始我們在信息流排序上也應(yīng)用了這些技術(shù)。

基于上述的各種原因，我們認(rèn)為深度學(xué)習(xí)是更好的方案。不過，為了能夠?qū)⑸疃葘W(xué)習(xí)應(yīng)用到生產(chǎn)環(huán)境，我們至少要確保它能夠為我們帶來與傳統(tǒng)機(jī)器學(xué)習(xí)方法一樣或更好的結(jié)果，并且具備更快的建模和訓(xùn)練速度。

負(fù)責(zé) Twitter 深度學(xué)習(xí)平臺的團(tuán)隊 Cortex 做出了以下的調(diào)整和改進(jìn)來滿足我們的要求。

新的模型架構(gòu)和訓(xùn)練方法：經(jīng)過一段時間的研究和探索，通過如下技術(shù)超越了之前的算法：

離散化：數(shù)據(jù)記錄間的稀疏特征值會有很大的不同。我們找到了一種方式，對輸入的稀疏特征進(jìn)行離散化，然后再讓它們進(jìn)入到深度學(xué)習(xí)網(wǎng)絡(luò)。

一個自定義的稀疏線性層：相比其他稀疏層，這個自定義的稀疏層具有兩個額外的特點：它提供了在線的歸一化（online normalization）方法，可以防止梯度暴增，以及特征偏差（bias），用于區(qū)分特征的丟失和零值特征。

與校準(zhǔn)（calibration）層相關(guān)的取樣方法：當(dāng)用于訓(xùn)練的數(shù)據(jù)集包含了相近數(shù)量的正值樣本和負(fù)值樣本，深度學(xué)習(xí)網(wǎng)絡(luò)可以獲得更好的結(jié)果。不過，如果是通過手動來調(diào)整樣本數(shù)量，會導(dǎo)致非標(biāo)定的預(yù)測結(jié)果。所以，我們增加了一個自定義的等分校準(zhǔn)層進(jìn)行二次校準(zhǔn)，讓輸出的結(jié)果更加準(zhǔn)確。

訓(xùn)練計劃：除了上述幾點之外，我們現(xiàn)在的模型訓(xùn)練過程包含了幾個步驟：離散器校準(zhǔn)、深度網(wǎng)絡(luò)訓(xùn)練、預(yù)測的等分校準(zhǔn)（isotonic calibration）和測試。得益于我們平臺的靈活性，我們可以很輕松地定義上述這些步驟，然后按順序執(zhí)行它們。

更好地實現(xiàn)和優(yōu)化模塊，以更小的延遲超越之前的算法。這些模塊很好地結(jié)合了批次、多線程和硬件資源來達(dá)到更低的延遲。

更好的平臺設(shè)計：

模塊的訓(xùn)練和重用變得更加容易：簡單易用的訓(xùn)練流程設(shè)計過程簡化了任務(wù)的串行化和模型的建立。

自動捆綁集群資源，支持更優(yōu)的交互：這些模型需要在 Twitter 的集群上重新進(jìn)行訓(xùn)練、探索和測試。平臺為用戶提供了一種簡單的方式來完整這些工作。

通用的測試和服務(wù)工具：訓(xùn)練過的模型需要進(jìn)行大規(guī)模的實驗，需要在生產(chǎn)環(huán)境里進(jìn)行大量的測試，同時要求部署過程盡量簡單。基本上，這些工作都可以通過一行命令來完成。

影響 ?

我們在搭建一個完整的深度學(xué)習(xí)平臺上所做的努力已經(jīng)初顯成效。在信息流排序方面，深度學(xué)習(xí)模型在準(zhǔn)確度方面獲得了顯著的成果。這些成果在模型的整個生命周期內(nèi)保持穩(wěn)定，從新特性的引入到擴(kuò)展模型用于預(yù)測新類型的參與度。這說明深度學(xué)習(xí)是穩(wěn)定的，可以推廣使用。更重要的是，從度量指標(biāo)（如推文的參與度和花費在 Twitter 上的時間）上看，在線體驗也得到了顯著改進(jìn)。我們在之前分享的業(yè)績報告中已經(jīng)提到過，的信息流促進(jìn)了用戶增長和 Twitter 參與度的提升。

端到端的框架體驗是影響深度學(xué)習(xí)的另一個重要方面。我們的終極目標(biāo)是構(gòu)建一個統(tǒng)一、靈活、快速的框架，簡化深度學(xué)習(xí)技術(shù)和模塊的組裝以及機(jī)器學(xué)習(xí)技術(shù)的采用。這種靈活性為信息流排序任務(wù)的快速實驗和獲得更高質(zhì)量的模型提供了良好的支持。

我們的愿景在進(jìn)一步顯化，越來越多的 Twitter 團(tuán)隊在他們的模型棧中使用了深度學(xué)習(xí)。

未來 ?

將深度學(xué)習(xí)作為信息流排序最主要的建模組件已經(jīng)在生產(chǎn)環(huán)境為我們帶來了非常好的成效。不過，更重要的是，Twitter 希望借此打開一扇通向未來的大門。在機(jī)器學(xué)習(xí)領(lǐng)域，深度學(xué)習(xí)和 AI 相關(guān)的工作在這些年得到了空前的發(fā)展，出現(xiàn)了大量新的技術(shù)和算法。我們相信，讓基于機(jī)器學(xué)習(xí)的產(chǎn)品從這些技術(shù)中獲益是至關(guān)重要的。我們可以在原生支持深度學(xué)習(xí)的平臺上達(dá)成我們的目的。

從長期來看，我們因此能夠更好地理解每一條推文和 Twitter 上的交互模式，從而實時地為用戶推薦具有更高相關(guān)度的推文。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754