哈佛大學提出在云、邊緣與終端設備上的分布式深度神經網絡DDNN

yacheng 發布于2019-04-25 18:18 / 2489人閱讀

摘要：因為這些設備直接連接傳感器數據攝像頭麥克風陀螺儀等，所以在終端設備上部署機器學習具有極大的吸引力。論文地址摘要我們提出了在分布式計算層級上的分布式深度神經網絡，包含云邊緣設備以及終端設備。垂直線表示通道，連接水平線神經網絡層。

近年來，深度神經網絡在多種應用上取得了極大的成功，網絡架構也變得越來越深。以卷積神經網絡為例，從 1998 年 LeNet 的 5 層，發展到 2015 年產生了 152 層的 ResNet。

在網絡架構變化的同時，包括物聯網在內的終端設備數量也越來越多，有著急劇的增長。因為這些設備直接連接傳感器數據（攝像頭、麥克風、陀螺儀等），所以在終端設備上部署機器學習具有極大的吸引力。

但現在看來，較高級的機器學習系統還無法滿足終端設備的現狀：1. 要么把傳感器數據輸入到云端的大型神經網絡模型；2. 要么直接在終端設備上使用簡單的機器學習模型（如線性支持向量機）。前者有通信成本、延遲的問題，后者會降低系統的準確率。

為了克服這些問題，自然而然地就想到了分布式計算方法。層級分布式計算架構包括云、邊緣與終端設備，這種架構有固有的優勢，例如支持中心調節與局部決策，具有系統可擴展性，特別是對基于位置分布的 IoT 設備上的大規模智能任務。

雖然業內也有一些分布式方法，但依然面臨多種挑戰，例如終端設備存儲與能源有限、通信成本等。那有沒有一種系統能夠訓練一個端到端模型，把模型在云與終端設備之間劃分開？

為了這個目標，作者們提出了在云、邊緣以及終端設備這樣的分布式計算層級上的分布式深度神經網絡（DDNN）。論文內容摘要如下，具體細節請查看論文原文。

論文：Distributed Deep Neural Networks over the Cloud, the Edge and End Devices

地址：https://arxiv.org/abs/1709.01921

摘要：我們提出了在分布式計算層級上的分布式深度神經網絡（DDNNs)，包含云、邊緣設備以及終端設備。在能夠適應云上的神經網絡推理的同時，DDNN 也允許在邊緣、終端設備上使用神經網絡的淺層部分進行更快、本地化的推理。在可延展的分布式計算層級支持下，DDNN 能按比例擴大網絡大小，且在區域跨度上進行擴展。由于其分布式特性，DDNN 增強了傳感器融合、系統故障容錯、數據隱私。在 DDNN 的實現上，我們繪制了 DNN 在不同分布式計算層級上的部分。通過聯合訓練這些部位，我們最小化了設備上的通信和資源使用，較大化了在云中使用的提取特征的有效性。最終的系統內建了對自動傳感器融合、故障容錯的支持。作為此概念的證實，我們演示了一個 DDNN 能夠利用傳感器的多元性改進目標識別的準確率、減少通信成本。在我們的實驗中，對比傳統的在云中卸載原始傳感器數據的方法，DDNN 能夠在終端設備本地處理大部分傳感器數據，同時取得高準確率，通信成本能夠降低 20 倍。

圖 2：DDNN 架構的概覽。垂直線表示 DNN 通道，連接水平線（神經網絡層）。（a) 是標準的深度神經網絡（完全在云端處理）；（b）是引入了終端設備和本地出口點（exit point)，可能分類云之前的樣本；（c）是（b）的擴展，增加了多個終端設備，聚合在一起進行分類；（d) 和（e）是（b) 和（c）的拓展，增加了云與終端設備之間的邊緣層；（f）展示了邊緣也能像終端設備一樣被分布。

歡迎加入本站公開興趣群

商業智能與數據分析群

興趣范圍包括各種讓數據產生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數據倉庫，數據挖掘工具，報表系統等全方位知識

QQ群：81035754

云服務器 GPU云服務器在云vps上的應用在云主機上的應用深度學習提出深度學習的提出

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/4626.html

邊緣計算的七項核心技術

摘要：與云計算中心不同，廣域網的網絡情況更為復雜，帶寬可能存在一定的限制因此，如何從設備層支持服務的快速配置，是邊緣計算中的一個核心問題。邊緣計算可汲取云計算發展的經驗，研究適合邊緣計算場景下的隔離技術。作者：施巍松團隊（張星洲、王一帆、張慶陽）計算模型的創新帶來的是技術的升級換代，而邊緣計算的迅速發展也得益于技術的進步。本節總結了推動邊緣計算發展的7項核心技術，它們包括網絡、隔離技術、...

leanote 2019-07-01 12:36 評論0 收藏0
云計算、邊緣計算和AI三者關系一覽

摘要：行分封制，邊緣計算列土封侯邊緣計算可認為是從內容傳送網絡技術演變而來。我們經常會談及邊緣計算的應用前景，主要在于人工智能可以讓云計算邊緣計算的協同合作機制發揮最大效率。回顧近年來云計算、邊緣計算、人工智能等技術的發展，從云計算對傳統IT架構做出的顛覆性架構變革，到邊緣計算實現計算能力的下沉，再到人工智能為各種平臺構建算法和模型，各種新興技術的風云角逐與3000年西周一統天下后的權力分配又何其...

jsdt 2019-04-30 14:45 評論0 收藏0
邊緣計算會顛覆云計算嗎？

摘要：不只云端電信業者紛紛押寶邊緣計算的市場，連全球較大開源社群基金會今年月也決定成立新項目來大力推動邊緣計算，要打造一套通用物聯網邊緣計算框架，超過家軟硬件廠商和新創加入，包括等。為何有人開始主張邊緣計算將會吃掉云計算，也有人相信純云計算時代正邁向終結，而且不只云端龍頭、商用軟件巨頭都搶著要押寶，連全球較大開源社群也大力支持，原因是什么？云端服務龍頭Amazon每年冬天在美國拉斯韋加斯舉...

cc17 2019-04-25 18:50 評論0 收藏0
邊緣計算會顛覆云計算嗎？

摘要：不只云端電信業者紛紛押寶邊緣計算的市場，連全球較大開源社群基金會今年月也決定成立新項目來大力推動邊緣計算，要打造一套通用物聯網邊緣計算框架，超過家軟硬件廠商和新創加入，包括等。為何有人開始主張邊緣計算將會吃掉云計算，也有人相信純云計算時代正邁向終結，而且不只云端龍頭、商用軟件巨頭都搶著要押寶，連全球較大開源社群也大力支持，原因是什么？云端服務龍頭Amazon每年冬天在美國拉斯韋加斯舉行的r...

terasum 2019-04-25 17:48 評論0 收藏0
5G時代的邊緣計算丨文末贈書

摘要：于年成立移動邊緣計算規范工作組，正式宣布推動移動邊緣計算標準化工作。其基本思想是把云計算平臺從移動核心網絡內部遷移到移動接入網邊緣，實現計算及存儲資源的彈性利用。本文選自最近人民郵電出版社新書《從云端到邊緣：邊緣計算的產業鏈與行業應用》第一章第二節5G時代的邊緣計算，作者吳冬升，5G產...

xietao3 2021-11-17 09:33 評論0 收藏0