資訊專欄INFORMATION COLUMN
摘要：人工智能技術的初步應用隨著網絡強國戰略思想加強網絡內容建設等指導思想的推出和強化，內容安全已經成為互聯網企業生存和發展的生命線。
歡迎訪問網易云社區，了解更多網易技術產品運營經驗。
10月16日，2018年 AIIA人工智能開發者大會在蘇州舉辦。會議邀請了國內外人工智能產業知名人物、國家政府主管部門、行業內頂尖企業、知名學者代表、開源社區優秀貢獻團隊及個人，共同交流了技術現狀趨勢、生態建設經驗以及開源社區運營。
網易云易盾CTO朱浩齊
在《AI安全分論壇》，網易云易盾CTO朱浩齊受邀出席，并分享了《人工智能在內容安全的應用實踐》主題內容。
隨著政策的收緊，“內容安全”成為各大平臺、網站的“心病”。2017年以來，因為內容安全問題而被勒令下架、停播、整改的事件相信各位還歷歷在目。伴隨著人工智能的快速發展，以往依靠人工審核的傳統方式已經無法滿足龐大體量的平臺、網站的需求。
那么如何依靠人工智能避開“內容安全”的坑？以下讓我們一探究竟。
人工智能技術的初步應用
隨著網絡強國戰略思想、加強網絡內容建設等指導思想的推出和強化，內容安全已經成為互聯網企業生存和發展的生命線。朱浩齊表示，國家多次強調互聯網不是法外之地，利用網絡散布色情材料、進行人身攻擊、兜售非法物品等言行要堅決管控，因此絕不能任其大行其道。
然而，傳統的內容技術已難以滿足企業日益增長的安全需求，就拿圖像來說，傳統的色情識別技術為例，就經常會存在誤判、錯判、漏判等情況。
而基于深度學習模型的圖像分類，則可以實現更高的準確率，以及圖像、內容文本實時處理。實時圖像處理的背后是這樣的一個技術架構在支撐：下載集群和并行計算，然后再經過色情模型、暴恐模型、涉政模型、廣告模型等判斷處理，然后給出結果處理。這一套流程下來，平均時長僅在500ms以內。
在文本內容識別上，之前的傳統技術存在著各種各樣的問題：
變化多：垃圾變種形式多樣，內容重復率低；規則系統需要及時維護龐大的規則庫才能較好的攔截，人工審核量巨大。
內容短：1~2句話居多，詞匯量少；常規的文本分類模型不適用。
多語義：部分敏感詞有多重語義；容易誤判正常語境下的內容
詞序敏感：同樣的詞在不同詞序下會有不同的語義；現有方法無法較好地處理這種問題。
而人工智能技術的應用則可以進行準確實時的文本處理，包括垃圾內容變種智能識別與修正、多意義上下文短文本垃圾檢測、Deep Learning垃圾檢測等。
具體是：
垃圾內容變種智能識別與修正，能夠結合上下文，智能識別同音、拼音、形近、拆字、符號等變形內容。
通過事先收錄的拼音庫、形近字庫、拆字庫、符號庫等字典，找出有變種嫌疑的內容，再結合上下文語境信息，使用Machine Learning技術判斷是否變種并進行修正。
漢字有幾萬個，人工收集形近字耗時耗力，而且不全面。通過算法計算漢字的相似度，快速找出所有的形近字，再進行人工確認，保證精準度。
同樣一個“威”信，一個是“威”信的變種，一個不是，必須結合上下文語境進行判斷。
多意義上下文短文本垃圾檢測，使用語義向量的方法識別垃圾語境，再結合垃圾關鍵詞識別短文本垃圾，有效解決詞匯量少、多義詞等技術難點。
在這部分，基于深度學習模型的圖像分類，易盾會使用自主研發的rankDoc算法自動挖掘出不同垃圾類別的數據集。另外，還會在不同垃圾類別的數據集上分別學習詞向量模型，利用這些模型，結合機器學習方法在不同垃圾類別數據集上挖掘出每個詞對應的上下文信息。
此外在檢測時，對包含敏感詞的文本會根據上下文信息和人工定制的規則，判斷敏感詞是否為垃圾語義，并進一步給出全文的檢測結果。
檢測樣例如下所示：
Deep Learning垃圾檢測，在語義向量、詞性識別等NLP技術的基礎上，利用RNN解決詞序敏感問題。
易盾對人工智能技術的再優化和探索
但是僅依靠現有的人工智能技術是難以保證百分之百的內容安全的，干擾、特征小、尺度等因素下，昵稱、頭像、彈幕、打招呼、圖床、足跡等等無孔不入的垃圾信息不斷侵蝕著內容安全系統。因此，只有不斷進化才能在技術層面加強防御實力。
為此，網易云易盾在人工智能技術的定制、算法、工程等方面進行了繼續優化。
首先是提供了更為精細粒度的分類模型，篩選內容具體到6大類、20+場景、80+小類，在違規審查上更為嚴苛。此外，建立了人-物交互檢測網絡，關注人體有關部位及其附近物體，提取關鍵線索信息，能夠較好地識別出“人-動作-物體”三元組信息。
如上所示，人-物交互檢測模型在場景理解上的表現，包括視覺注意力機制（attention）、視覺關系檢測（visual relationship detection）以及“人-物”交互檢測（human-object interactions）。
通過持續的對抗訓練，網易云易盾基于深度學習模型的圖像分類技術不僅可以解決微小擾動對于神經網絡的欺騙，而且可以對模型上線流程、對抗樣本進行準確的穩定性評估。
圖片來源：Beyond Adversarial Learning-Data Scaling Attacks in Deep Learning Applications
此外，音頻處理也是其中的重要影響因素。圖像分類技術能夠基于不同的語音場景分類，對語音事件進行檢測和識別，并且返回文本進行文本過濾。
基于以上的功能，網易云易盾還做了定制化的模型，根據業務需要，將圖像處理分為預處理、模型、策略三階段。預處理階段輸入圖像特征分析或質量分析后，會根據需要進入基礎服務階段或定制服務階段。模型階段下，基礎分類網絡下數據將根據圖像全局特征網略、一般網絡、局部特征淺層網略進行模型整合和目標檢測，定制分類網絡則直接進入目標檢測。
此外，網易云易盾也在語種識別、處理效率、安全標準提升、審核團隊運營等方面不斷實現能力提升，包括增加或即將增加藏語、維語、泰語、印度語等語種識別；提升直播、短視頻的處理效率；密切配合監管部門，不斷完善內容安全標準；并且不斷優化審核系統、培養審核團隊。
未來
未來，網易云易盾內容安全服務會遵守跨媒體智能、用戶行為分析、高度定制化模型的技術路線，致力于實現更為精準高效的服務體系，滿足不同企業的業務所需：
跨媒體智能：理解文本、圖片、視頻、音頻的內容后再進行安全分析；
用戶行為分析：收集更全面的用戶行為數據，配合用戶內容數據進行審核過濾；
高度定制化模型：緊貼監管部門政策法規、滿足客戶實際需求。
“作為網易云旗下的一站式安全服務，網易云易盾堅持提供可靠的內容安全服務。”分享最后，朱浩齊談到，未來他們將繼續認真打磨細節，保持足夠的耐心來持續迭代產品，將這種工匠精神發揚光大。此外，“業務仍然重于技術”，技術會進步，業務才是核心。
網易云易盾依托團隊20年的技術積累及對網易數十條業務線的保障經驗，擁有海量特征庫和成熟的安全機制，并結合超強云計算及人工智能技術，形成對游戲、金融、電商、娛樂等場景化解決方案，目前已服務集團內外上千家客戶。
點擊免費體驗網易云易盾內容安全解決方案。
更多網易技術、產品、運營經驗分享請點擊。
文章來源： 網易云社區
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/25257.html
摘要：根據各自執行時機的不同來選擇采用哪種方案。不可以當作構造函數，也就是說，不可以使用命令，否則會拋出一個錯誤。不可以使用對象，該對象在函數體內不存在。不能使用箭頭函數可以讓里面的，綁定定義時所在的作用域，而不是指向運行時所在的作用域。 this是什么 this就是函數內部的關鍵字 看下面例子理解js中的this // 例子1 function fnOne () { ...
摘要：根據各自執行時機的不同來選擇采用哪種方案。不可以當作構造函數，也就是說，不可以使用命令，否則會拋出一個錯誤。不可以使用對象，該對象在函數體內不存在。不能使用箭頭函數可以讓里面的，綁定定義時所在的作用域，而不是指向運行時所在的作用域。 this是什么 this就是函數內部的關鍵字 看下面例子理解js中的this // 例子1 function fnOne () { ...
摘要：夏華夏先生以美團發展的五個階段為演講主線，分別介紹每個階段中所遇到的問題及解決方案。在夏華夏先生的分享之后，第五屆開幕式圓滿結束，他山之石可以攻玉是的宗旨，我們希望通過優秀案例的分享傳播更多的經驗。 showImg(https://segmentfault.com/img/bVHgPK?w=629&h=418);(第五屆TOP100summit開幕式現場) 12月09日-12日，由ms...
摘要：夏華夏先生以美團發展的五個階段為演講主線，分別介紹每個階段中所遇到的問題及解決方案。在夏華夏先生的分享之后，第五屆開幕式圓滿結束，他山之石可以攻玉是的宗旨，我們希望通過優秀案例的分享傳播更多的經驗。 showImg(https://segmentfault.com/img/bVHgPK?w=629&h=418);(第五屆TOP100summit開幕式現場) 12月09日-12日，由ms...
閱讀 2391·2023-04-25 19:27
閱讀 3502·2021-11-24 09:39
閱讀 3918·2021-10-08 10:17
閱讀 3407·2019-08-30 13:48
閱讀 1940·2019-08-29 12:26
閱讀 3131·2019-08-28 17:52
閱讀 3546·2019-08-26 14:01
閱讀 3542·2019-08-26 12:19
