摘要：目前資訊播報(bào)時區(qū)限行歷史上的今天單位換算油價(jià)日歷等技能天貓精靈上線技能觸發(fā)率，準(zhǔn)確率即對話管理，是對話系統(tǒng)的關(guān)鍵部分，負(fù)責(zé)維護(hù)對話上下文，管理對話流程，保持對話過程的流暢。

TaskBot引擎： 核心處理對象是“技能”，我們把技能定義成結(jié)構(gòu)化(query+content)、垂直場景化的任務(wù)，比如實(shí)時場景查詢、工具類、控制類等
QABot引擎：

包括KG-QA引擎、QAPair引擎、DeepQA引擎。KG-QA主要是百科和圍繞全網(wǎng)知識圖譜的精準(zhǔn)問答；QAPair引擎以問答對生產(chǎn)消費(fèi)為主；DeepQA引擎基于url索引、分類聚類、焦點(diǎn)詞、摘要的多級系統(tǒng)

ChatBot引擎：

包括基于檢索和生成的閑聊引擎

網(wǎng)頁搜索與智能對話是信息服務(wù)的不同承載方式，在數(shù)據(jù)、算法、架構(gòu)上一脈相承。也正因此積累，谷歌等搜索引擎公司可以快速推出其AI平臺&產(chǎn)品，以信息服務(wù)為基礎(chǔ)To B/C。

行業(yè)技能庫

第一階段：團(tuán)隊(duì)用了半年的時間將大搜索100+的垂直行業(yè)進(jìn)行結(jié)構(gòu)化升級，涉及行業(yè)大到大娛樂、大出行、新聞資訊，中到汽車、體育、旅游，小到股票、翻譯、古詩詞等等

第二階段：進(jìn)一步進(jìn)行技能的結(jié)構(gòu)化升級，精細(xì)的Query結(jié)構(gòu)化、多輪對話建設(shè)，并輸出到天貓精靈音箱

全網(wǎng)知識圖譜

阿里唯一全網(wǎng)知識圖譜，以知識卡片、實(shí)體推薦、精準(zhǔn)問答等產(chǎn)品輸出；

問答庫

社區(qū)問答庫：基于UGC問答社區(qū)的問答庫，1B doc的量級；

UPGC生產(chǎn)：神馬"騎士團(tuán)"建立的校園生產(chǎn)體系，騎士團(tuán)是該項(xiàng)目的code name，充分利用校園對存量知識進(jìn)行整理、加工、審核，提升問答的生產(chǎn)效率和質(zhì)量；目前參與學(xué)生人數(shù)萬級別；

高質(zhì)量庫：社區(qū)問答庫覆蓋高但質(zhì)量參差不齊，社會化生產(chǎn)質(zhì)量高但數(shù)量相對較少，通過機(jī)器對社區(qū)問答庫的清洗和對社會化生產(chǎn)庫的擴(kuò)展，最終沉淀成高質(zhì)量庫；

蛋清庫：蛋清是產(chǎn)品策略。用戶與bot對話時最希望得到直接的答案即"蛋黃"，但是有時候機(jī)器能get(或部分get)到用戶的問題但是無法給與完美的答案，這個時候給用戶"蛋清"也是一種優(yōu)雅的手段表示我理解你；目前已完成第一版蛋清上線，主要覆蓋“描述/方式”問題類型；

核心庫

為了凈化互聯(lián)網(wǎng)環(huán)境、提升內(nèi)容質(zhì)量，我們以運(yùn)營+挖掘的方式運(yùn)轉(zhuǎn)了一套核心庫的流程；
技能庫+知識庫+問答庫+閑聊庫，構(gòu)成了信息服務(wù)場景下智能對話的基礎(chǔ)設(shè)施，舉幾個例子說明下不同庫對不同query（詢問）的滿足，小馬同學(xué)正在看一場NBA比賽，他說：

"現(xiàn)在火箭領(lǐng)先多少分了？" -> 技能庫
"籃球是誰發(fā)明的？" -> 知識庫
"哈登能進(jìn)名人堂嗎?" -> 問答庫
"咱們聊聊NBA吧?" -> 閑聊庫

通用信息服務(wù)始終在追求問答的覆蓋和質(zhì)量，這也是業(yè)界的難點(diǎn)，包括半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)的處理、內(nèi)容生產(chǎn)模式、內(nèi)容敏感問題、用戶滿足等等；神馬搜索在一年的探索中積累出的多級QA系統(tǒng)、MOPU(Machine/OGC/PGC/UGC)多元化生產(chǎn)、流程化規(guī)模化可持續(xù)的生產(chǎn)體系走在了業(yè)界的前沿；在最近一次天貓精靈理想query集合評測上，觸發(fā)率達(dá)到73%，準(zhǔn)確率達(dá)到了91%；這個數(shù)據(jù)是什么概念，可以參考業(yè)界代表性產(chǎn)品的指標(biāo)：

根據(jù)Stone Temple最近的調(diào)查，谷歌虛擬助理可以回答68％的用戶問題，其中90.6％的答案是正確的，而微軟Cortana能夠回答的用戶問題比例為56.5％，準(zhǔn)確率為81.9％；而蘋果Siri回答的用戶問題比例為21.7%，準(zhǔn)確率為62.2％，亞馬遜Alexa回答的用戶問題比例為20.7％，準(zhǔn)確率為87％

上圖為架構(gòu)體系整體大圖。"引擎"負(fù)責(zé)數(shù)據(jù)的構(gòu)建和計(jì)算的承載，"平臺"負(fù)責(zé)以引擎為核心構(gòu)建的閉環(huán)解決方案(生產(chǎn)、多租戶消費(fèi)、運(yùn)營、需求管理等)。系統(tǒng)的落地，得以于搜索多年的積累沉淀。該系統(tǒng)完全與搜索業(yè)務(wù)解耦，承載了天貓精靈等業(yè)務(wù)方的流量(以及雙十一晚會直播問答)。下面會分別介紹神降臨平臺、TaskBot引擎、QABot引擎。

神降臨平臺

神降臨平臺是TaskBot引擎的平臺化延展，解決技能生產(chǎn)、消費(fèi)、運(yùn)營等問題。對于外部開發(fā)者它是BotFramework；對于外部調(diào)用者它是神馬整個智能對話的出入口；對于內(nèi)部RD它是生產(chǎn)和運(yùn)營平臺。目前該平臺主要服務(wù)集團(tuán)內(nèi)部業(yè)務(wù)。神降臨由技能開放平臺、技能生產(chǎn)平臺、統(tǒng)計(jì)分析平臺、運(yùn)營管理平臺組成。

技能開放平臺

開放有兩個層面：內(nèi)容開放+能力開放。對應(yīng)的技能開放平臺也承擔(dān)兩個角色：

1.能力開放(BotFramework)：對標(biāo)類api.ai的技能構(gòu)建平臺，外部開發(fā)者構(gòu)建自己的技能；
2.內(nèi)容消費(fèi)(OpenAPI)：通過創(chuàng)建應(yīng)用、選擇技能/問答，直接通過API進(jìn)行智能對話；

目前我們尚未對外主推BotFramework：雖然開放平臺產(chǎn)品眾多，但目前的模式很難滿足開發(fā)者需求，一個技能從產(chǎn)品規(guī)劃到生產(chǎn)可用需要大量和較長鏈路的工作，不是提交點(diǎn)語料配置點(diǎn)上下文和輸出就可以搞定的(簡單控制類勉強(qiáng)可以)。在我們技能一期專項(xiàng)完成的20+技能下大約有300+種不同意圖，建立了語料收集、標(biāo)注、審核、建模、測試的完善流程。所以我們的精力主要放在打磨真正可用的內(nèi)置技能，產(chǎn)生實(shí)際的價(jià)值。

技能生產(chǎn)平臺

技能生產(chǎn)平臺用于生產(chǎn)內(nèi)置技能。它與技能開放平臺的角色一致最終都是將物料投遞給TaskBot引擎，但用戶是內(nèi)部RD，涵蓋了從產(chǎn)品PRD到技能上線的全鏈路流程，涉及在線編寫結(jié)構(gòu)化PRD、需求管理、語料管理、實(shí)體管理、技能構(gòu)建、技能訓(xùn)練、技能驗(yàn)證、技能發(fā)布。

為了技能的普適性，每個技能我們都以技能組的方式支持多場景：標(biāo)準(zhǔn)無屏、手機(jī)屏、大屏，標(biāo)準(zhǔn)無屏針對天貓精靈音箱類似場景，手機(jī)針對神馬的個人助理場景，他們在多輪需求、結(jié)構(gòu)化展現(xiàn)、排序策略上都不盡相同；另外內(nèi)置技能的物料除了實(shí)體、語料、劇本之外，支持投遞c++動態(tài)庫以支持不同的排序策略、NLG策略等。

通過該平臺將技能建設(shè)在線化、PD/RD/QA/運(yùn)營分工明確pipeline生產(chǎn)。

統(tǒng)計(jì)分析平臺

多維度的打點(diǎn)統(tǒng)計(jì)、報(bào)表、指標(biāo)分析。涉及問題包括生產(chǎn)消費(fèi)效率(通過統(tǒng)計(jì)引導(dǎo)內(nèi)容生產(chǎn)的方向領(lǐng)域)、內(nèi)容控制反饋、整體和獨(dú)立技能的準(zhǔn)召。

運(yùn)營管理平臺

運(yùn)營管理平臺分兩塊：內(nèi)容運(yùn)營、應(yīng)用運(yùn)營。

內(nèi)容運(yùn)營：關(guān)鍵域和模塊的實(shí)時干預(yù)；

應(yīng)用運(yùn)營：應(yīng)用/技能等增刪改查以及訓(xùn)練；

注1：中間橙色為TaskBot引擎，下文展開介紹
注2：大圖中TaskBot引擎、QABot引擎、ChatBot引擎為邏輯架構(gòu)；物理架構(gòu)上QABot和ChatBot級聯(lián)到TaskBot中，有多個模塊進(jìn)行多路召回和pk判定

TaskBot引擎是技能構(gòu)建和消費(fèi)的內(nèi)核。它涉及離線計(jì)算、內(nèi)容管理、調(diào)度、在線服務(wù)。

離線計(jì)算

將外部平臺的物料一一構(gòu)建成對應(yīng)的內(nèi)部數(shù)據(jù)；包括實(shí)體詞典、分類模型、意圖識別&抽槽插件/pattern/模型、NLG策略和模板、DM劇本插件、US排序插件、webHook邏輯插件等等。

內(nèi)容管理

按應(yīng)用/技能分版本的管理上述數(shù)據(jù)。內(nèi)容管理要做到無狀態(tài)，可快速移植、回滾、分發(fā)。

調(diào)度

分為數(shù)據(jù)調(diào)度、環(huán)境管理、服務(wù)管理。數(shù)據(jù)調(diào)度負(fù)責(zé)離線到在線的數(shù)據(jù)分發(fā)，一套SDS引擎包含多個Role，每個Role都會加載對應(yīng)的數(shù)據(jù)；環(huán)境管理負(fù)責(zé)迭代、驗(yàn)證、預(yù)發(fā)、生產(chǎn)環(huán)境的自動化管理；服務(wù)管理負(fù)責(zé)運(yùn)維方面工作包括分行分列(按照應(yīng)用流量分行，按照技能消耗分列)，擴(kuò)縮容上下線等；

在線引擎

：SDS引擎，見下圖

SDS引擎是任務(wù)式對話的核心。它接受用戶的query，以DM為控制中樞、以NLU為理解中樞、通過US做召回和rank、以NLG包裝后輸出。目前資訊播報(bào)、時區(qū)、限行、歷史上的今天、單位換算、油價(jià)、日歷、nba、lbs等技能天貓精靈上線技能觸發(fā)率97-98%，準(zhǔn)確率95%+；

DM(Dialog Manager)

：即對話管理，是對話系統(tǒng)的關(guān)鍵部分，負(fù)責(zé)維護(hù)對話上下文，管理對話流程，保持對話過程的流暢。用戶的輸入通過NLU處理后產(chǎn)生意圖、槽位等信息，DM根據(jù)這些數(shù)據(jù)以及當(dāng)前對話的上下文做出對應(yīng)的決策和行為，包括調(diào)用NLG模塊生成自然語言、通過外部服務(wù)接口獲取對話過程中所需要的額外信息。DM以任務(wù)樹的方式管理對話，樹的每個節(jié)點(diǎn)都是一個Agent(詢問、執(zhí)行、回應(yīng))；考慮到對話系統(tǒng)的通用性和可擴(kuò)展性，我們在對話管理模塊的設(shè)計(jì)上，將對話引擎部分和領(lǐng)域相關(guān)部分做了明確的隔離，包括可重用的對話Agent組件、可編輯的對話控制選項(xiàng)、通用的外部調(diào)用機(jī)制等，可方便地自定義不同功能的Agent，實(shí)現(xiàn)不同的對話場景。

對話引擎在流程控制上有兩個重要的組成部分：

對話執(zhí)行棧

： 通過棧的形式維護(hù)Agent的執(zhí)行狀態(tài)，根據(jù)上下文對對話流程進(jìn)行控制。對話棧將Agent放入棧中，由棧頂?shù)腁gent執(zhí)行并選擇出合適的子Agent繼續(xù)入棧執(zhí)行。對話棧存儲對話的上下文信息，對應(yīng)著一個具體的對話場景。對話棧頂?shù)腁gent可形象的理解為對話焦點(diǎn)，對話棧結(jié)合Agent關(guān)系樹和話題議程表可實(shí)現(xiàn)對話焦點(diǎn)的跟蹤和管理，可靈活的保持、切換、回溯對話主題。

話題議程表：

負(fù)責(zé)維護(hù)和管理對話過程的參數(shù)信息，用于收集系統(tǒng)期望得到的用戶輸入。議程分為多個層次，每個級別對應(yīng)于對話框堆棧中的一個Agent，因此對于不同的運(yùn)行棧信息，議程表代表了在這個對話場景下所期望的輸入。當(dāng)用戶保持或轉(zhuǎn)移話題時，能找到相應(yīng)的期望參數(shù)并更新。
DM的執(zhí)行單元是"劇本"，用戶在開放平臺或生產(chǎn)平臺通過拖拽方式構(gòu)建的劇本樹最終會被構(gòu)建成c++的so被加載執(zhí)行。目前通過DM與NLU的結(jié)合已在多個技能上完成了省略替換、指代消解、話題轉(zhuǎn)移、錯誤處理等多輪對話。
NLU：NLU有兩種不同的設(shè)計(jì)理念：

圍繞BotFramework的NLU

：將用戶query結(jié)構(gòu)化為Domain/Intent/Slot后返回給開發(fā)者(帶上置信度)，有些BotFramework產(chǎn)品需要用戶自己判斷是否接受這個結(jié)果，在技能較多的情況下會更麻煩，因?yàn)檫@種設(shè)計(jì)下核心幫助用戶解決的是語義理解的問題

圍繞對話產(chǎn)品的NLU：

結(jié)合NLU的分類和召回的結(jié)果做多維NBest策略，這在信息服務(wù)場景尤為重要，比如用戶說了個李白，它可能是詩人李白、可能是撒貝寧的妻子李白、也可能是李榮浩的《李白》，這里有不同的處理方式，比如借助大搜索用戶點(diǎn)擊、借助用戶的歷史行為、甚至可以DM上直接反問哪個李白
上述2自然涵蓋1，神馬的NLU是2的模式。今年NLU系統(tǒng)經(jīng)歷了兩次大的升級，一次是整個SDS的NBest升級，一次是子NLU化，子NLU可以讓不同的Domain根據(jù)自身特別內(nèi)部個性化定制意圖識別和抽槽策略、并提升RD并行度。
NLG/US/Skill-Gateway 不再展開。

業(yè)界對問答有不同的劃分維度，按照內(nèi)容維度可劃分為結(jié)構(gòu)化數(shù)據(jù)問答、非結(jié)構(gòu)化數(shù)據(jù)問答、以及基于問答對的問答。而從技術(shù)角度看，業(yè)界一般分為基于檢索式的問答系統(tǒng)和基于生成式的問答系統(tǒng)。前者是將信息檢索系統(tǒng)構(gòu)建于大規(guī)模對話數(shù)據(jù)集之上，通過建立有效的問句匹配和問答相關(guān)度量化模型實(shí)現(xiàn)對用戶問題的合理回復(fù)；后者則試圖通過構(gòu)建端到端(End-to-End)的深度學(xué)習(xí)模型，從海量對話數(shù)據(jù)中自動學(xué)習(xí)query和response之間的語義關(guān)聯(lián)，從而達(dá)到對于任何用戶問題都能夠自動生成回復(fù)的目的。

我們當(dāng)前主要專注于基于海量數(shù)據(jù)的檢索式QA系統(tǒng)，而在系統(tǒng)層面劃分為：KG-QA、Baike-QA、DeepQA、PairQA，它們都是對既有知識的搬運(yùn)整理，但是在數(shù)據(jù)來源/要求、加工方式、匹配方式、覆蓋場景又不盡相同。筆者認(rèn)為世界的理想終局是結(jié)構(gòu)化的(知識庫)，但是這個永遠(yuǎn)無法真正實(shí)現(xiàn)，比如信息的持續(xù)產(chǎn)生和更新以及自然語義處理的難度，所以需要兩個方向同時并行前進(jìn)。

KG-QA和Baike-QA準(zhǔn)確高但是覆蓋有限，基于非結(jié)構(gòu)化的Deep-QA覆蓋高但是污染大，Pair-QA的社會化生產(chǎn)大幅提升生產(chǎn)力但是需要好的場景和問題，諸多的挑戰(zhàn)決定了問答的難度和壁壘。

這里主要介紹PairQA和DeepQA系統(tǒng)如下圖所示：

問題理解 問題理解是問答系統(tǒng)理解用戶意圖的關(guān)鍵一環(huán)，特別是DeepQA。這里我們復(fù)用了大搜索基礎(chǔ)NLP的能力(語義擴(kuò)展，權(quán)重分析，實(shí)體識別，改寫糾錯等)；問題分類結(jié)合機(jī)器學(xué)習(xí)分類算法和人工的方式，來實(shí)現(xiàn)提問的分類，比如：無意義、閑聊、人物、組織、時間等；焦點(diǎn)詞識別，主要完成信息需求的精準(zhǔn)定位，指問句的主要背景或者對象、有關(guān)主題的內(nèi)容，能夠體現(xiàn)對話題的描述性作用，比如實(shí)體、屬性、動作、實(shí)例等。

信息檢索

信息檢索負(fù)責(zé)從全局語料中檢索相關(guān)/候選信息，傳遞給最終的答案生成模塊。信息語料的不同，以及業(yè)務(wù)場景的不同，檢索的方法也有多種形式，目前我們主要使用的是基于倒排的文本檢索和基于向量的語義檢索。前者是傳統(tǒng)的全文搜索引擎采用的方式，優(yōu)點(diǎn)是實(shí)現(xiàn)簡單、準(zhǔn)確率高，但對建庫語料依賴大，后者則是語義搜索引擎一種較好的實(shí)現(xiàn)方式，優(yōu)點(diǎn)是泛化能力強(qiáng)，但有一定誤觸發(fā)率。兩套索引機(jī)制各有優(yōu)缺點(diǎn)，結(jié)合不同的語料和業(yè)務(wù)場景，使用不同索引機(jī)制，同時也會相互結(jié)合使用，發(fā)揮各自的優(yōu)勢。

答案生成

基于檢索端的候選答案，需要通過進(jìn)一步的精排、答案抽取、置信度計(jì)算，最終得到準(zhǔn)確、簡潔的答案。PairQA，更多的是通過CNN、DSSM、GBDT等機(jī)器學(xué)習(xí)模型和方法做嚴(yán)格的排序 + 置信度計(jì)算；DeepQA，面向的是非結(jié)構(gòu)化的文檔/社區(qū)語料，則需要做更深層次的處理，包括結(jié)合Bi-LSTM RNN模型的簡潔摘要抽取、同義問題答案間交叉驗(yàn)證、答案相關(guān)性驗(yàn)證等。

語料建設(shè)

語料庫的建設(shè)是QABot的基礎(chǔ)，不管是面向特定領(lǐng)域的問答（比如：母嬰、三國、街舞），還是面向開放域的問答（比如閑聊），都離不開高質(zhì)量語料的支持。針對天貓精靈場景，我們實(shí)現(xiàn)了一整套面向口語化問答的數(shù)據(jù)挖掘和運(yùn)營生產(chǎn)流程，包含開放問題挖掘、場景問題挖掘、社會化答案生產(chǎn)、高質(zhì)量答案自動抽取。

圖譜引擎

知識圖譜是神馬搜索的核心基礎(chǔ)設(shè)施，借助搜索大數(shù)據(jù)和自然語言處理、深度學(xué)習(xí)技術(shù)打造，也是歷史最悠久的數(shù)據(jù)產(chǎn)品，在搜索知識化、智能化發(fā)展歷程中發(fā)揮了關(guān)鍵作用。基于知識圖譜和自然語言理解，我們構(gòu)建了知識卡片、實(shí)體推薦、精準(zhǔn)問答三個主要產(chǎn)品。在智能對話業(yè)務(wù)，針對音箱的場景，還重點(diǎn)建設(shè)了菜譜、古詩詞、三國、世界之最等特色技能，輸出到天貓精靈。而在生產(chǎn)側(cè)，一方面持續(xù)引入知識抽取、知識推理的前沿新技術(shù)，另一方面也建立了圖譜的社會化生產(chǎn)模式，來持續(xù)建設(shè)和補(bǔ)充專業(yè)領(lǐng)域的知識，使知識圖譜更好地為業(yè)務(wù)賦能。

去年一年，智能對話團(tuán)隊(duì)初步完成了從搜索到智能對話的技術(shù)升級，在實(shí)戰(zhàn)中沉淀出AI+信息服務(wù)的架構(gòu)、算法、運(yùn)營、內(nèi)容體系。感恩時代，AI對話的路很長，我們一起努力。

原文鏈接