摘要：摘要導語近日，阿里云發布了智能媒體管理服務，通過離線處理能力關聯授權的云存儲，提供便捷的海量多媒體數據一鍵分析，并通過該分析過程構建價值元數據，更好支撐內容檢索。標準統一，訪問接口統一為阿里云的標準。場景化一鍵式處理，提高易用性。

摘要： 導語 近日，阿里云發布了智能媒體管理（Intelligent Media Management）服務， 通過離線處理能力關聯授權的云存儲，提供便捷的海量多媒體數據一鍵分析，并通過該分析過程構建價值元數據，更好支撐內容檢索。

導語
近日，阿里云發布了智能媒體管理（Intelligent Media Management）服務， 通過離線處理能力關聯授權的云存儲，提供便捷的海量多媒體數據一鍵分析，并通過該分析過程構建價值元數據，更好支撐內容檢索。

背景介紹
隨著智能手機的普及、無人機的流行，業界產生了海量的圖片、視頻等多媒體數據；同時，網絡也在飛速發展，特別是4G的推廣，讓這些數據的保存、分享發生了巨大的變化，從而也帶來了媒體數據各行業的新趨勢。我們親身體驗到通信方式從短信變成語音，瀏覽內容從文字變成圖片、從JPG靜態圖片變成GIF動態圖片、再到短視頻；從去年開始，直播也火熱起來，成為一種流行的時尚。這些迅速的變化趨勢，反應了一個共同的特點，就是“交互的信息量越豐富、越實時，用戶越容易被吸引，越會產生新的價值”。

如圖中所示行業，都在利用最新的人工智能(Artificial Intelligence, AI)技術產生新的價值，同時也引入新的需求：

手機相冊。它早已不是簡單的圖片備份，iOS通過AI構建人臉相冊、場景標簽、編輯應用，變成吸引客戶的亮點，成為新的基線。
視頻監控。它不再只是記錄取證工具，而是利用AI發展為智慧城市，變成了智慧的眼睛，要管理整個城市的交通信息。
直播應用。個人分享已不僅僅是博客、微博的文本形式，更是轉變為快速直觀的視頻模式，這背后需要更高、更快的直播內容理解、審核需求。
數據處理場景需求
對于圖片分享社區應用場景，最基本的功能是提供備份、分享，但這并不能帶來更多的價值。只有提供更多的圖片處理能力，比如主體剪裁、人臉識別、濾鏡功能、風格渲染、視頻合成等數據處理功能，如下圖所示。這些亮點將為使用者帶來“生活不止眼前的茍且，還有依然在你身邊的美好”回憶，從而讓應用更具吸引力。

內容檢索場景需求
如今的綜藝節目非常火爆，例如跑男、極限挑戰等，每期拍攝的素材量千倍于實際播出量；要在這海量素材中快速掃描、找到爆點，需要相當大的工作量，例如當前的人肉檢索低效率方式需要處理幾周的時間。如果能夠基于AI分析語音、人物、場景得到結構化信息，并索引管理起來，支撐更好的檢索，它將會大大的提高素材的處理效率。

同樣，在線教育等領域，對于老師、演講者的材料、語音、視頻內容，如果能夠提供快速的解析索引能力，那么它將給學習者提供便捷的專場內容描述、快速定位關鍵術語、演講筆記同步提取等亮點。

客戶痛點分析
要滿足上述場景需求，當前應用架構設計時，需要選型不同數據處理功能的廠家（包括AI廠家）進行集成、或者自研開發，對于內容檢索，還需要分析場景細節需求，引入數據庫設計和開發。這都需要很好的技術能力，以及開發團隊的支撐，并解決如下的痛點。

多廠家管理痛點

圖片應用將數據保存到云存儲后，要選擇不同廠家的AI分析能力，支撐業務和監管的需求。應用通常會在云服務器（Elastic Compute Service，ECS）上部署AI廠家的軟件包，或者直接調用AI廠家提供的服務，但需要解決如下問題：

接口不統一。因為存在多廠家的選型，需要考慮不同廠家接口的兼容性。
資源浪費。同一張圖片會被多次讀取，甚至是傳輸到外部網絡，浪費網絡帶寬，提高使用成本。
無存量數據的低成本批量處理方案。采用廠商的同步處理價格高昂，需要提供存量數據的低成本批量處理方案，接受異步接口返回檢測結果（比如針對存量的OSS桶里面的所有圖片，進行批量鑒黃）。
復雜元數據管理痛點

智能網盤通過自己的用戶鑒權服務允許客戶登錄，然后采用基礎數據管理把圖片、視頻上傳到云存儲OSS中。為了提供人臉分組、標簽分組等搜索功能，需要提供各類元數據管理，定義基于場景的表格式、處理數據庫的異常，它將帶來如下的開發難度：

元數據表設計難度大。針對不同的元數據，需要分類設計各類表結構存儲，有相當的技術門檻。
多維度元數據管理有挑戰。需要組合多種元數據，進行多維度查詢處理，存在設計挑戰。
維護元數據的的一致性難題。解決這些元數據在異常場景下的異常處理，是系統級難題。
設計目標

通過上述的場景和痛點分析，智能媒體管理（IMM）服務提取了6個關鍵點作為設計目標：

海量數據，支撐云存儲上的海量數據處理。
端云拉通，能夠讓端和云進行有效的協作。
場景結合，基于場景構建元數據管理便于快速接入。
一鍵處理，簡化配置和使用、提高系統易用性。
智能分析，引入業界領先的處理能力，特別是AI能力。
標準統一，訪問接口統一為阿里云的標準。
功能描述

對于云存儲上的海量數據，通過授權訪問的安全設計，讓數據處理分析服務能夠有權限訪問數據，在此之上構建數據智能處理框架，該框架針對離線處理優化設計，同時支持實時處理能力。基于該處理框架，引入了業界領先的數據處理能力，包括各種AI能力。利用離線處理能力關聯授權的云存儲，可以提供便捷的存量數據一鍵分析，通過該分析過程構建價值元數據，支撐更好的內容檢索。通過這樣的設計，從而提供如下功能：

普惠AI算法，提供豐富功能。人臉分組、圖片打標、版權、鑒黃等能力。
價值元數據，為客戶帶來新的增長點。整合價值元數據，提供智能分析搜索。
OFFICE文檔處理，簡化客戶使用。提供典型的OFFICE文件格式轉換，便于移動設備瀏覽辦公文檔。
場景化、一鍵式處理，提高易用性。基于場景模版，結合實時、離線處理引擎，一鍵生成網盤關鍵元數據。
架構介紹

如圖是IMM服務的架構依賴上下文，服務本身的架構分為2層：處理引擎、元數據索引。

架構依賴上下文
對下依賴阿里云的對象存儲、文件存儲等服務，通過安全的機制訪問里面存儲的非結構化數據（例如圖片、視頻），提取價值信息。
對上依賴場景理解，進行封裝，支撐視頻網盤、手機相冊、社交圖庫、家庭監控等圖片、視頻應用場景，為它們產生新的價值。
處理引擎層
基于阿里云存儲，就近構建計算框架，該框架支持批量異步處理、準實時同步處理，在一鍵關聯云存儲（例如，指定Bucket的目錄前綴、指定Bucket的某個對象）后，實現快速的自動數據處理，通過整合業界領先的數據處理算法，處理引擎提供如下功能。

OFFICE文檔格式轉換。支持將OFFICE文檔轉換為JPG圖片格式，從而更好的支持網盤的文檔預覽功能。
大圖處理。支持將超大的圖片進行切割、縮放處理，友好的支撐相冊、圖庫場景的精細看圖功能。
標簽檢測。通過人工智能技術，識別圖片、視頻中的物品標簽，從而實現機器的制動打標，更好的支撐推薦應用。
人臉檢測。通過人工智能技術，識別圖片、視頻中的人臉，檢測出人臉框，判斷人臉姿勢、年齡、性別等屬性。
元數據索引層
基于處理引擎提供的功能，通過對場景的深入理解和梳理，IMM封裝了場景的元數據設計，對外提供場景的元數據訪問接口，簡化場景應用的設計難度、無須關注元數據索引數據庫的運維工作，目前支持如下的元數據索引。

人臉分組索引。構建元數據集合，然后調用人臉分組的接口分析圖片，把得到的元數據加入到該元數據集合中，從而可以得到該集合中相似的人臉。通過該索引，可以快速的支撐網盤的人臉相冊、家庭監控的陌生人檢測、甚至新零售的顧客管理等場景。
標簽分組索引。構建元數據集合，然后調用標簽分組的索引接口分析圖片，把得到的元數據加入到該元數據集合中，從而可以根據標簽搜索圖片。通過該索引，可以快速的支撐網盤的場景相冊、家庭監控的寵物跟蹤、甚至暴力、恐怖、色情圖片等標簽的搜索。
調度框架

IMM的所有數據處理請求都在調度框架下執行，例如上述架構中提到的處理引擎層、元數據索引層請求，它由2部分組成：

運行實例（Instance）。運行實例是運行指定數據處理功能的節點，例如運行圖片打標功能的節點。它可以是虛擬機、或者Docker，能夠采用預留類型、或者Spot競價類型的實例，支持部署在阿里云的VPC（Virtual Private Cloud）環境，保證數據處理功能的安全性、隔離性。
調度控制器（Schedule Controller）。調度控制器負責把IMM接收到的請求分發到指定功能的實例上，它支持接收同步、異步的請求，提供準實時、離線的調度。針對負載的變化，實現了實例資源池的彈性伸縮、故障處理、自動升級等能力。
當調度框架收到同步的請求時，例如DetectTag進行圖片打標分析時。調度框架將會把請求分發到請求隊列的Pipeline，然后根據后端實例的節點狀態、負載情況快速轉發請求，從而達到準實時調度的能力。為了保證請求的低時延，以及請求的成功率，通常選擇預留的實例。

當調度框架收到異步的請求時，例如CreateTagJob指定OSS的桶、前綴進行批量的圖片打標分析時。調度框架將會把請求放到調度器，調度器遍歷OSS桶、前綴的對象，然后生成單個對象的數據處理請求并分發到多個請求隊列中，再根據后端實例的節點狀態、負載情況快速向多個實例轉發請求，從而達到離線調度的能力。為了保證離線調度的成本，通常選擇Spot類型的競價實例。

通過上述調度控制和數據處理分離的架構，調度框架提供如下亮點：

準實時、離線調度。針對離線處理性價比競爭力的優化設計下，也能提供準實時能力，實現數據處理的閉環。
同步、異步請求。支撐一鍵式的異步處理需求同時，還提供了同步請求的靈活性。
數據處理能力的安全性。利用VPC部署數據處理的實例，保證了資源的隔離、安全的屏蔽。
如何使用
IMM提供控制臺操作和API接口，通過控制臺快速的創建IMM的項目，然后體驗IMM的數據處理功能。

控制臺使用

登錄阿里云控制臺，執行如下操作：

第一步，開通智能媒體管理服務。開通后，即可使用IMM提供的功能。
第二步，創建項目。使用IMM必須要創建項目，它是IMM資源管理、計費的基本單元。

創建了項目，就可以體驗IMM支持的功能：

格式預覽。支持OFFICE文檔轉換，并用圖片方式預覽。
人臉檢測。檢測照片中的人臉，識別年齡、性別，眼部狀態信息。
圖片打標。檢測圖片包含的標簽信息，以及置信度值。
詳細的控制臺使用介紹，請參考IMM快速開始。

API使用
IMM的API調用方法
調用IMM的API需要遵守阿里云的API規范，請參考IMM API調用，請您注意調用時的參數，特別是簽名。

如下是IMM典型功能的API調用示例。

文件格式轉換CreateFormatConvertJob

POST https://imm.cn-shanghai.aliyuncs.com?Action=CreateFormatConvertJob
&Project=test
&SrcUri="oss://bucket1/test.pptx"
&TgtType=jpg
&TgtUri="oss://bucket1/imm-format-convert-tgt/session123/"
&ExternalID=aaa

該功能接口的詳細信息，請參考CreateFormatConvertJob。

圖片打標DetectTag

POST https://imm.cn-shanghai.aliyuncs.com?Action=DetectTag
&Project=test
&SrcUri=["oss://bucket1/1.jpg"]

該功能接口的詳細信息，請參考DetectTag。

人臉檢測DetectFace

POST https://imm.cn-shanghai.aliyuncs.com?Action=DetectFace
&Project=test
&SrcUri=["oss://bucket1/A.jpg"]

該功能接口的詳細信息，請參考DetectFace。

批量鑒黃CreatePornBatchDetectJob

POST https://imm.cn-hangzhou.aliyuncs.com?Action=CreatePornBatchDetectJob
&Project=test
&SrcUri="oss://bucket/prefix"
&TgtUri="oss://bucket/imm-porn-batch-tgt/session1"

該功能接口的詳細信息，請參考CreatePornBatchDetectJob。

立即體驗
現在產品已經在阿里云官網正式開始公測，點擊這里立即體驗。

后續規劃
下一階段，IMM將和OSS集成拉通：

在OSS控制臺集成IMM功能。實現OFFICE文檔的預覽，媒體對象的AI功能。
在OSS提供存量數據的IMM處理對接。可以通過OSS的控制臺，選擇某個桶或者其目錄，調用IMM的批量異步任務，例如批量鑒黃，從而享受高性價比、便捷的數據處理。
在OSS的API中拉通。調用oss的x-oss-process處理引擎時，調用到IMM的API進行處理。
通過這樣端的端的集成，從而讓您在云上的管理更加易用。
點擊查看原文