摘要：基于深度學習的語義匹配語義匹配技術，在信息檢索搜索引擎中有著重要的地位，在結果召回精準排序等環節發揮著重要作用。在美團點評業務中主要起著兩方面作用。

寫在前面

美團點評這兩年在深度學習方面進行了一些探索，其中在自然語言處理領域，我們將深度學習技術應用于文本分析、語義匹配、搜索引擎的排序模型等；在計算機視覺領域，我們將其應用于文字識別、目標檢測、圖像分類、圖像質量排序等。下面我們就以語義匹配、圖像質量排序及文字識別這三個應用場景為例，來詳細介紹美團點評在深度學習技術及應用方面的經驗和方法論。

基于深度學習的語義匹配

語義匹配技術，在信息檢索、搜索引擎中有著重要的地位，在結果召回、精準排序等環節發揮著重要作用。

傳統意義上講的語義匹配技術，更加注重文字層面的語義吻合程度，我們暫且稱之為語言層的語義匹配；而在美團點評這樣典型的O2O應用場景下，我們的結果呈現除了和用戶表達的語言層語義強相關之外，還和用戶意圖、用戶狀態強相關。

用戶意圖即用戶是來干什么的？比如用戶在百度上搜索“關內關外”，他的意圖可能是想知道關內和關外代表的地理區域范圍，“關內”和“關外”被作為兩個詞進行檢索，而在美團上搜索“關內關外”，用戶想找的就是“關內關外”這家飯店，“關內關外”被作為一個詞來對待。

再說用戶狀態，一個在北京和另一個在武漢的用戶，在百度或淘寶上搜索任何一個詞條，可能得到的結果不會差太多；但是在美團這樣與地理位置強相關的場景下就會完全不一樣。比如我在武漢搜“黃鶴樓”，用戶找的可能是景點門票，而在北京搜索“黃鶴樓”，用戶找的很可能是一家飯店。

如何結合語言層信息和用戶意圖、狀態來做語義匹配呢？

我們的思路是在短文本外引入部分O2O業務場景相關特征，融入到設計的深度學習來做語義匹配的框架中，通過點擊/下單數據來指引語義匹配模型的優化方向，最終把訓練出的點擊相關性模型應用到搜索相關業務中。下圖是針對美團點評場景設計的點擊相似度框架ClickNet，是比較輕量級的模型，兼顧了效果和性能兩方面，能很好地推廣到線上應用。

表示層

對Query和商家名分別用語義和業務特征表示，其中語義特征是核心，通過DNN/CNN/RNN/LSTM/GRU方法得到短文本的整體向量表示，另外會引入業務相關特征，比如用戶或商家的相關信息，比如用戶和商家距離、商家評價等，最終結合起來往上傳。

學習層

通過多層全連接和非線性變化后，預測匹配得分，根據得分和Label來調整網絡以學習出Query和商家名的點擊匹配關系。

在該算法框架上要訓練效果很好的語義模型，還需要根據場景做模型調優：首先，我們從訓練語料做很多優化，比如考慮樣本不均衡、樣本重要度、位置Bias等方面問題。其次，在模型參數調優時，考慮不同的優化算法、網絡大小層次、超參數的調整等問題。經過模型訓練優化，我們的語義匹配模型已經在美團點評平臺搜索、廣告、酒店、旅游等召回和排序系統中上線，有效提升了訪購率/收入/點擊率等指標。

小結

深度學習應用在語義匹配上，需要針對業務場景設計合適的算法框架，此外，深度學習算法雖然減少了特征工程工作，但模型調優上難度會增加，因此可以從框架設計、業務語料處理、模型參數調優三方面綜合起來考慮，實現一個效果和性能兼優的模型。

基于深度學習的圖像質量排序

國內外各大互聯網公司（比如騰訊、阿里和Yelp）的線上廣告業務都在關注展示什么樣的圖像能吸引更多點擊。在美團點評，商家的首圖是由商家或運營人工指定的，如何選擇首圖才能更好地吸引用戶呢？圖像質量排序算法目標就是做到自動選擇更優質的首圖，以吸引用戶點擊。

傳統的圖像質量排序方法主要從美學角度進行質量評價，通過顏色統計、主體分布、構圖等來分析圖片的美感。但在實際業務場景中，用戶對圖片質量優劣的判斷主觀性很強，難以形成統一的評價標準。比如:

有的用戶對清晰度或分辨率更敏感；

有的用戶對色彩或構圖更敏感；

有的用戶偏愛有視覺沖擊力的內容而非平淡無奇的環境圖。

因此我們使用深度學習方法，去挖掘圖片的哪些屬性會影響用戶的判斷，以及如何有效融合這些屬性對圖片進行評價。

我們使用AlexNet去提取圖片的高層語義描述，學習美感、可記憶度、吸引度、品類等High Level特征，并補充人工設計的Low Level特征（比如色彩、銳度、對比度、角點）。在獲得這些特征后，訓練一個淺層神經網絡對圖像整體打分。該框架（如圖2所示）的一個特點是聯合了深度學習特征與傳統特征，既引入高層語義又保留了低層通用描述，既包括全局特征又有局部特征。

對于每個維度圖片屬性的學習，都需要大量的標簽數據來支撐，但完全通過人工標記代價極大，因此我們借鑒了美團點評的圖片來源和POI標簽體系。關于吸引度屬性的學習，我們選取了美團Deal相冊中點擊率高的圖片（多數是攝影師通過單反相機拍攝）作為正例，而選取UGC相冊中點擊率低的圖片（多數是低端手機拍攝）作為負例。

關于品類屬性的學習，我們將美團一級品類和常見二級品類作為圖片標簽?；谏鲜鲑|量排序模型，我們為廣告POI挑選最合適的優質首圖進行展示，起到吸引用戶點擊，提高業務指標的目的。圖3給出了基于質量排序的首圖優選結果。

基于深度學習的OCR

為了提升用戶體驗，O2O產品對OCR技術的需求已滲透到上單、支付、配送和用戶評價等環節。OCR在美團點評業務中主要起著兩方面作用。一方面是輔助錄入，比如在移動支付環節通過對銀行卡卡號的拍照識別，以實現自動綁卡，又如輔助BD錄入菜單中菜品信息。

另一方面是審核校驗，比如在商家資質審核環節對商家上傳的身份證、營業執照和餐飲許可證等證件照片進行信息提取和核驗以確保該商家的合法性，比如機器過濾商家上單和用戶評價環節產生的包含違禁詞的圖片。相比于傳統OCR場景（印刷體、掃描文檔），美團的OCR場景主要是針對手機拍攝的照片進行文字信息提取和識別，考慮到線下用戶的多樣性，因此主要面臨以下挑戰：

成像復雜：噪聲、模糊、光線變化、形變；

文字復雜：字體、字號、色彩、磨損、筆畫寬度不固定、方向任意；

背景復雜：版面缺失，背景干擾。

對于上述挑戰，傳統的OCR解決方案存在著以下不足：

通過版面分析（二值化，連通域分析）來生成文本行，要求版面結構有較強的規則性且前背景可分性強（例如文檔圖像、車牌），無法處理前背景復雜的隨意文字（例如場景文字、菜單、廣告文字等）。

通過人工設計邊緣方向特征（例如HOG）來訓練字符識別模型，此類單一的特征在字體變化，模糊或背景干擾時泛化能力迅速下降。

過度依賴字符切分的結果，在字符扭曲、粘連、噪聲干擾的情況下，切分的錯誤傳播尤其突出。

針對傳統OCR解決方案的不足，我們嘗試基于深度學習的OCR。

?1. 基于Faster R-CNN和FCN的文字定位

首先，我們根據是否有先驗信息將版面劃分為受控場景（例如身份證、營業執照、銀行卡）和非受控場景（例如菜單、門頭圖）。

對于受控場景，我們將文字定位轉換為對特定關鍵字目標的檢測問題。主要利用Faster R-CNN進行檢測，如下圖所示。為了保證回歸框的定位精度同時提升運算速度，我們對原有框架和訓練方式進行了微調:

考慮到關鍵字目標的類內變化有限，我們裁剪了ZF模型的網絡結構，將5層卷積減少到3層。

訓練過程中提高正樣本的重疊率閾值，并根據業務需求來適配RPN層Anchor的寬高比。

對于非受控場景，由于文字方向和筆畫寬度任意變化，目標檢測中回歸框的定位粒度不夠，我們利用語義分割中常用的全卷積網絡（FCN）來進行像素級別的文字/背景標注，如下圖所示。為了同時保證定位的精度和語義的清晰，我們不僅在最后一層進行反卷積，而且融合了深層Layer和淺層Layer的反卷積結果。

2. 基于序列學習框架的文字識別

為了有效控制字符切分和識別后處理的錯誤傳播效應，實現端到端文字識別的可訓練性，我們采用如下圖所示的序列學習框架?？蚣苷w分為三層：卷積層，遞歸層和翻譯層。其中卷積層提特征，遞歸層既學習特征序列中字符特征的先后關系，又學習字符的先后關系，翻譯層實現對時間序列分類結果的解碼。

由于序列學習框架對訓練樣本的數量和分布要求較高，我們采用了真實樣本+合成樣本的方式。真實樣本以美團點評業務來源（例如菜單、身份證、營業執照）為主，合成樣本則考慮了字體、形變、模糊、噪聲、背景等因素?；谏鲜鲂蛄袑W習框架和訓練數據，在多種場景的文字識別上都有較大幅度的性能提升，如下圖所示。

寫在最后

本文主要以深度學習在自然語言處理、圖像處理兩個領域的應用為例進行了介紹，但深度學習在美團點評可能發揮的價值遠遠不限于此。未來，我們將繼續在各個場景深入挖掘，比如在智能交互、配送調度、智能運營等，在美團點評產品的智能化道路上貢獻一份力量。

作者簡介

文竹，美團點評美團平臺與酒旅事業群智能技術中心負責人，2010年從清華碩士畢業后，加入百度，先后從事機器翻譯的研發及多個技術團隊的管理工作。2015年4月加入美團，負責智能技術中心的管理工作，致力于推動自然語言處理、圖像處理、機器學習、用戶畫像等技術在公司業務上的落地。

李彪，美團點評美團平臺及酒旅事業群NLP技術負責人，曾就職搜狗、百度。2015年加入美團點評，致力于NLP技術積累和業務的落地，負責的工作包括深度學習平臺和模型，文本分析在搜索、廣告、推薦等業務上應用，智能客服和交互。

曉明，美團點評平臺及酒旅事業群圖像技術負責人，曾就職于三星研究院。2015年加入美團點評，主要致力于圖像識別技術的積累和業務落地，作為技術負責人主導了圖像機審、首圖優選和OCR等項目的上線，推進了美團產品的智能化體驗和人力成本的節省。

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754