資訊專欄INFORMATION COLUMN
摘要：近日，在個推技術沙龍深圳站，來自華為個推的技術大拿們在現場，對核心技術進行了深入的探討。最后，個推還支持了部署發布的工具，讓訓練的成果能夠通過標準化的方式導出到線上，進行服務部署，真正地在線上產生價值。
人工智能技術的飛速發展給各行各業都帶來了深遠的影響，AI已被視為企業提升運營效能、應對市場競爭的必經之路。然而對于一些企業而言，讓AI真正實現落地和應用，并且創造價值，仍是一件需要努力的事情。
近日，在個推技術沙龍TechDay深圳站，來自華為、個推、SheIn的技術大拿們在現場，對AI核心技術進行了深入的探討。
常越峰 《淺談AI工具鏈》個推大數據研發高級主管
AI在生產環境落地的整個過程中，通常會遇到三個挑戰：
第一，業務場景復雜。簡單的一個算法也許只能優化某個環節，但整個業務場景的優化可能需要許多算法的相互配合。
第二，數據問題。數據是AI的重要支撐之一，許多企業都欠缺獲取高質量、有標注數據的能力。
第三，技術問題。在AI落地的過程所遇到的技術問題，有四個核心：1）CPU / GPU環境的調度和管理復雜。2）AI業務的開發人員們需要一個低門檻的實驗平臺，使其能夠進行快速的探索實驗。3）擁有大規模數據的企業，需要工業級大規模分布式訓練，來保證算法能夠應用于全量數據中。4）企業需要提供低延遲的在線服務。
人工智能最核心的是數據，而數據可以分為兩個部分，實時數據和離線數據。個推使用Hive方案進行離線數據的存儲，注重數據的容量和擴展性；而在線用戶對延時非常在意，所以個推會使用高性能KV庫，保證在線特征能夠及時地被訪問到。
在解決了基礎的數據存儲和使用問題之后，對于AI落地過程中的技術問題，個推內部支持端到端的服務，能夠使用標準化流程快速進行實踐探索。個推也自研了一些插件和產品包，簡化流程步驟和復雜度，幫助經驗較少的開發者也可以在較短的時間內搭建系統。最后，個推還支持了部署發布的工具，讓訓練的成果能夠通過標準化的方式導出到線上，進行服務部署，真正地在線上產生價值。
在小微企業AI落地實踐的過程中，可以使用Kubeflow等開源技術棧。首先，環境的管理與調度可以使用Kubernates作為分布式環境標準；Jupyter +開源數據分析工具包+ AI框架可以進行低門檻的快速探索實驗；Kubeflow + Tensorflow / PyTorch / MXNet可以快速地部署大規模的分布式訓練；最后，借助Kubernates提供的快速部署、上線、擴縮容的能力，可以提供高可用的在線服務。
而在AI實際落地時，企業則需要注意以下三點：
第一，快與高效。企業可以借助開源工具快速落地業務，同時也要注意沉淀流程和垂直領域。
第二，集成打通。Kubernates方案并不是唯一的選擇，企業需要考慮自身情況，與已有系統進行對接，選擇適合自身的方案。
第三，團隊建設。各個技術部門之間需要進行高效的配合，企業也可以引導研發工程師逐漸地融入AI領域。
馬興國 《個性化推薦閑聊》SheIn 產品研發中心 副總經理
對于企業來說，如果想要做好AI個性化產品的業務，只有算法工程師是不夠的，還需要工程、數據分析人員的支持，以及產品、運營人員的助力。
當企業涉及到的業務較多時，也可以將業務進行通用處理，即建設偏向系統層面的推薦平臺。該推薦平臺需要數據、算法和系統的共同配合。推薦平臺的接入，可以帶來三點功能：第一，企業在進行物料同步時，可以做到格式統一，并且同步增量和全量；第二，平臺在處理用戶的服務請求時，可以做到標準化、高性能和智能化；第三，平臺可以格式統一、實時、離線地上報用戶行為。
簡單的機器學習過程是搭建環境、收集數據、分析數據、準備數據、訓練算法、測試算法和使用算法。在這個過程中也隱藏著許多問題，比如如何解決冷啟動問題，如何解決假曝光問題，如何清洗異常數據，如何選擇正負樣本，如何解決數據稀疏問題，如何從億級特征中選擇顯著特征等。
在機器學習的過程中，數據是基礎，理想的狀態是數據的數量大且特征完備。收集數據有“推”和“拉”兩種方式，“拉”即是爬蟲，“推”就是上報。而分析數據則是分析目標分布、特征分布、目標特征關系、特征間的關系和完整性等。分析數據的方式有離線分析、實時分析和融合分析，分析工具則可以在Excle、Shell(awk)、Python、Mysql、Hadoop、Spark、Matlab…當中進行選擇。清洗數據需要清洗系統臟數據、業務臟數據和目標外數據。格式化數據則需要進行數據變換、采樣和稀疏處理。
而機器學習可以選擇的算法模型較多，如熱度、貝葉斯、關聯規則、LR、GBDT、AR、CF(ALS)等等。
在算法模型中，特征工程也是非常重要的一部分。其中，特征對象有物料、用戶和上下文；特征類型有靜態特征、動態特征、表征特征、枚舉特征、實數特征等；特征維度則有一階獨立特征、二階交叉特征和多階交叉特征。特征的選擇也是一件需要注意的事情，企業可以在過濾型、包裹型和嵌入型三種特征進行選擇，同時，企業還需要在前向、后向和StepWise三種特征過程類型中進行選擇。
算法的最后還需要進行效果評估、多維度評估、實時評估和離線評估。企業還需要注意到，沒有一勞永逸的模型，算法需要進行持續的關注和運營。
合適環境的搭建也是算法能夠正常運行的保障之一。算法的環境需要標準化、配置化、可擴展、高性能，同時支持立體監控和效果提升，保證用戶體驗。
聶鵬鶴 《AI識別，從圖像到人臉》華為算法工程師
在計算機領域，上世紀90年代就有人嘗試，將圖像的特征和識別的過程，通過人類的規則同步給計算機，讓計算機進行“圖像識別”。一直到了2012、13年，人們發現，對傳統神經網絡的結構方式做一些小的變化，能夠大幅度地提升計算機進行圖像識別的可操作性，這個改善后的神經網絡被稱為卷積神經網絡（CNN）。CNN進行圖像處理的本質是信息提取，也被稱為自動的特征工程，即通過巨大的神經網絡一步步地抽取到關鍵的圖像特征，從而達到圖像識別的目的。
而人臉識別則是一種基于人的臉部特征信息，進行身份識別的生物識別技術?，F如今，人臉識別已經可以有效地對用戶身份進行識別，并且被廣泛地應用于支付、安檢、考勤等場景。而隨著人臉數據系統的建設，人臉識別也將成為反欺詐、風控等的有效手段之一，能夠極大地縮短身份審核的確認時間。
人臉識別最大的優點是非接觸性，可以隱蔽操作，這使得它能夠適用于安全問題、罪犯監控與抓逃應用。同時，非接觸性的信息采集沒有侵犯性，容易被大眾接受。而人臉識別方便、快捷、強大的事后追蹤能力，也符合人類的識別習慣。人臉識別的不足之處，在于不同人臉的相似性小，同時識別性能受外界條件的影響大。
人臉識別的步驟主要包括人臉檢測、人臉對齊校準、人臉特征提取、人臉特征模型建立、人臉特征匹配以及人臉識別結果的輸出。
其中，人臉檢測的目標是找出圖像中，人臉所對應的位置，算法輸出的則是人臉外接矩形在圖像中的坐標，可能還包括姿態，如傾斜角度等信息。
人臉識別的第二步是人臉對齊，它需要在保證人臉的特征等要素沒有發生扭曲和變化的前提下進行使用，在這樣的情況下，輸出的人臉距離才能與后期的模型進行有效對比。
人臉識別的最后一步是人臉匹配，在網絡足夠大，樣本足夠豐富的情況下，人臉匹配的準確率會非常高。
在人臉識別的領域，深度學習網絡的發展會越來越好。深度學習有其相應的優勢，它強調了數據的抽象和特征的自動學習，并且它的自主學習特征更為可靠。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/19908.html
摘要：近日，在個推技術沙龍深圳站，來自華為個推的技術大拿們在現場，對核心技術進行了深入的探討。最后，個推還支持了部署發布的工具，讓訓練的成果能夠通過標準化的方式導出到線上，進行服務部署，真正地在線上產生價值。 人工智能技術的飛速發展給各行各業都帶來了深遠的影響，AI已被視為企業提升運營效能、應對市場競爭的必經之路。然而對于一些企業而言，讓AI真正實現落地和應用，并且創造價值，仍是一件需要努力...
摘要：訓練和建模邏輯的算法既是瓶頸也是突破口，深度學習的未來應用與發展值得矚目。自研發深度學習系統薄言豆豆人機對話成功率達，是目前比較優秀的的中文理解智能系統。 2016正好是人工智能概念誕生60周年。早在1956年，美國達特茅斯（Dartmouth）大學召開的學術會議上就提出了人工智能的概念。60年里，科學技術的積累使得機器學習、模式識別、人機交互這三個基礎支撐可以得到較為廣泛的應用。隨著一個甲...
摘要：阿里安全圖靈實驗室的算法程序媛于鯤在阿里巴巴這幾年的錘煉，于鯤已經成長為國內人臉核心算法領域的頂級專家。在阿里巴巴是一種全新的體驗從年到現在，于鯤一直在做人臉識別技術的研究和開發。 摘要： 一個專注人臉識別技術長達11年的程序媛。 程序媛、AI、算法、人臉識別、阿里安全圖靈實驗室……這些標簽任何一個都極具話題性，但如果一個女子同時擁有這些標簽，那會是怎樣的存在？ 在見到于鯤之前，我的...
摘要：原著中桃谷六仙是給令狐沖硬灌真氣，作者筆誤但不妨礙意思。華為擅長鑄劍，卻不擅長用劍。而這些深入接觸用戶痛點的產品，我們都看不上，因為太小，不能在華為的銷服體系下大規模批量復制，所以都不愿意做。所有資源向公有云傾斜，導致其他領域全部貧血。 慣例元旦過了，分紅混到了，該慣例了。慣例就該瀟瀟灑灑的走，不需要哀哀惋惋仿佛全世界都欠你的，或飛鳥出籠仿佛逃出生天一般歡脫自在，這都不是我的范。先說一下慣例...
閱讀 2347·2019-08-30 15:44
閱讀 1271·2019-08-30 13:01
閱讀 3313·2019-08-30 11:22
閱讀 3099·2019-08-29 15:23
閱讀 1621·2019-08-29 12:22
閱讀 3379·2019-08-26 13:58
閱讀 3448·2019-08-26 12:17
閱讀 3485·2019-08-26 12:16
