資訊專欄INFORMATION COLUMN
摘要：什么是邊緣計算最近，邊緣計算成為了人工智能和物聯(lián)網(wǎng)領(lǐng)域非常熱門的關(guān)鍵詞。用于邊緣計算的處理器要多通用是否要上專用加速器常規(guī)物聯(lián)網(wǎng)終端節(jié)點的處理器是一塊簡單的，以控制目的為主，運算能力相對較弱。
什么是邊緣計算
最近，邊緣計算成為了人工智能和物聯(lián)網(wǎng)領(lǐng)域非常熱門的關(guān)鍵詞。
人們對于人工智能和物聯(lián)網(wǎng)的最初設(shè)想是，在云端有一個異常強大的數(shù)據(jù)中心，而物聯(lián)網(wǎng)各個節(jié)點負責(zé)采集數(shù)據(jù)交給云端，云端在根據(jù)數(shù)據(jù)分析并做決策后再把結(jié)果發(fā)還給終端。在這種模型中，云端負責(zé)智能計算，而終端節(jié)點負責(zé)數(shù)據(jù)采集以及決策執(zhí)行。
然而，這樣的設(shè)想在實際實現(xiàn)中遇到了不少困難。第一個困難來源于數(shù)據(jù)傳輸?shù)拈_銷。物聯(lián)網(wǎng)節(jié)點通常都使用無線網(wǎng)絡(luò)與云端做數(shù)據(jù)傳輸，而如果物聯(lián)網(wǎng)節(jié)點把不加任何處理的原始數(shù)據(jù)一股腦全部傳到云端，會導(dǎo)致帶寬需求爆炸，網(wǎng)絡(luò)基礎(chǔ)架構(gòu)沒法支撐如此高的帶寬。開銷的另一部分是無線傳輸?shù)墓模绻褦?shù)據(jù)不加任何處理就傳輸?shù)皆贫耍敲唇K端節(jié)點的無線傳輸模塊必須支持高速無線傳輸，這就意味著無線模塊需要很大的功耗，與物聯(lián)網(wǎng)節(jié)點低功耗的設(shè)想不符。第二個困難在于延遲。許多節(jié)點執(zhí)行的任務(wù)對于延遲非常敏感，例如無人駕駛，例如安防，在這些應(yīng)用中網(wǎng)絡(luò)傳輸帶來的延遲（幾十毫秒以上，有時候網(wǎng)絡(luò)信號不好會帶來數(shù)秒的延遲甚至掉線）無法被接受。
考慮到這些問題，邊緣計算就成為了解決方案。在邊緣計算中，終端節(jié)點不再是完全不負責(zé)計算，而是做一定量的計算和數(shù)據(jù)處理，之后把處理過的數(shù)據(jù)再傳遞到云端。這樣一來延遲和帶寬的問題可以解決，因為計算在本地，而且處理過的數(shù)據(jù)一定是從原始數(shù)據(jù)中進行過精煉的數(shù)據(jù)所以數(shù)據(jù)量會小很多。當(dāng)然，具體要在邊緣做多少計算也取決于計算功耗和無線傳輸功耗的折衷——終端計算越多，計算功耗越大，無線傳輸功耗通常就可以更小，對于不同的系統(tǒng)存在不同的最優(yōu)值。
對于邊緣計算系統(tǒng)，處理器、算法和存儲器是整個系統(tǒng)中最關(guān)鍵的三個要素。下面我們仔細分析這幾個元素。
用于邊緣計算的處理器：要多通用？是否要上專用加速器？
常規(guī)物聯(lián)網(wǎng)終端節(jié)點的處理器是一塊簡單的MCU，以控制目的為主，運算能力相對較弱。如果要在終端節(jié)點加邊緣計算能力，有兩種做法，第一是把這塊MCU做強，例如使用新的指令集增加對矢量計算的支持，使用多核做類似SIMD的架構(gòu)等等；第二種是走異構(gòu)計算的思路，MCU還是保持簡單的控制目的，計算部分則交給專門的加速器IP來完成，目前正火的AI芯片其實大部分做的就是這樣的一個專用人工智能算法加速器IP。顯然，前一種思路做出來通用性好，而第二種思路則是計算效率高。未來預(yù)期兩種思路會并行存在，平臺型的產(chǎn)品會使用第一種通用化思路，而針對某種大規(guī)模應(yīng)用做的定制化產(chǎn)品則會走專用加速器IP的思路。然而，IoT終端的專用加速器IP設(shè)計會和其他領(lǐng)域（如手機）的專用加速器設(shè)計有所不同，因為有內(nèi)存的限制（見下面分析）。
算法與內(nèi)存
眾所周知，目前最主流的深度神經(jīng)網(wǎng)絡(luò)模型大小通常在幾MB甚至幾百MB，這就給在物聯(lián)網(wǎng)節(jié)點端的部署帶來了挑戰(zhàn)。物聯(lián)網(wǎng)節(jié)點端處于成本和體積的考量不能加DRAM，一般用FLASH（同時用于存儲操作系統(tǒng)等）作為系統(tǒng)存儲器。我們可以考慮用FLASH來存儲模型權(quán)重信息，但是緩存必須在處理器芯片上完成，因為FLASH的寫入速度比較慢。由于緩存大小一般都是在幾百KB到1MB數(shù)量級，這就限制了模型的大小，因此算法必須能把模型做到很小，這也是為什么最近“模型壓縮”這個話題會這么火的原因。
如果算法無法把模型做到很小，就需要考慮內(nèi)存內(nèi)計算。內(nèi)存內(nèi)計算（in-memory computing）是一種與傳統(tǒng)馮諾伊曼架構(gòu)不同的計算方式。馮諾伊曼架構(gòu)的做法是把處理器計算單元和存儲器分開，需要時處理器從存儲器讀數(shù)據(jù)，之后在處理器處理完了數(shù)據(jù)之后再寫回存儲器。因此傳統(tǒng)使用馮諾伊曼架構(gòu)的專用加速器大部分也需要配合DRAM內(nèi)存使用，使得這樣的方案在沒法加DRAM的物聯(lián)網(wǎng)節(jié)點端難以部署。內(nèi)存內(nèi)計算則是直接在內(nèi)存內(nèi)做計算而無需把數(shù)據(jù)取到處理器里，這樣就節(jié)省了內(nèi)存存取的額外開銷。一塊內(nèi)存內(nèi)計算的加速器的主體就是一塊大SRAM或者Flash，然后在內(nèi)存上再加一些計算電路，從而直接在內(nèi)存內(nèi)做計算，理想情況下就能在沒有DRAM的情況下跑起來相關(guān)算法。
當(dāng)然內(nèi)存內(nèi)計算也有自己的挑戰(zhàn)。出了編程模型需要仔細考慮之外，內(nèi)存內(nèi)計算目前的實現(xiàn)方案本質(zhì)上都是做模擬計算，因此計算精度有限，F(xiàn)P32之類的高精度肯定是不可能了。這就需要人工智能模型和算法做相應(yīng)配合，對于低精度計算（即量化計算，quantized computation）有很好的支持，避免在低精度計算下?lián)p失太多正確率。目前已經(jīng)有不少binary neural network（BNN）出現(xiàn)，即計算的時候只有1位精度0或者1，并且仍然能保持合理的分類準(zhǔn)確率。
另一方面，目前IoT節(jié)點終端內(nèi)存不夠的問題除了可以用模型壓縮來解決之外，另一條路就是使用新存儲器解決方案來實現(xiàn)高密度片上內(nèi)存，或者加速片外非易失性存儲器的讀寫速度，并降低讀寫功耗。因此，邊緣計算也將會催生新內(nèi)存器件，例如MRAM，ReRAM等等。
總結(jié)
邊緣計算是人工智能和物聯(lián)網(wǎng)結(jié)合的產(chǎn)物，是未來的重要趨勢。未來邊緣計算的關(guān)鍵技術(shù)，包括新處理器（強通用處理器或?qū)Ｓ眉铀倨鳎瑑?nèi)存內(nèi)計算，網(wǎng)絡(luò)模型壓縮，以及新存儲器。喜歡新技術(shù)的朋友們不妨多多關(guān)注這些領(lǐng)域，預(yù)計會出現(xiàn)不少有趣的公司和技術(shù)。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/3505.html
摘要：什么是邊緣計算最近，邊緣計算成為了人工智能和物聯(lián)網(wǎng)領(lǐng)域非常熱門的關(guān)鍵詞。用于邊緣計算的處理器要多通用是否要上專用加速器常規(guī)物聯(lián)網(wǎng)終端節(jié)點的處理器是一塊簡單的，以控制目的為主，運算能力相對較弱。 什么是邊緣計算最近，邊緣計算成為了人工智能和物聯(lián)網(wǎng)領(lǐng)域非常熱門的關(guān)鍵詞。人們對于人工智能和物聯(lián)網(wǎng)的最初設(shè)想是，在云端有一個異常強大的數(shù)據(jù)中心，而物聯(lián)網(wǎng)各個節(jié)點負責(zé)采集數(shù)據(jù)交給云端，云端在根據(jù)數(shù)據(jù)分析并...
摘要：與云計算中心不同，廣域網(wǎng)的網(wǎng)絡(luò)情況更為復(fù)雜，帶寬可能存在一定的限制因此，如何從設(shè)備層支持服務(wù)的快速配置，是邊緣計算中的一個核心問題。邊緣計算可汲取云計算發(fā)展的經(jīng)驗，研究適合邊緣計算場景下的隔離技術(shù)。 作者：施巍松團隊（張星洲、王一帆、張慶陽） 計算模型的創(chuàng)新帶來的是技術(shù)的升級換代，而邊緣計算的迅速發(fā)展也得益于技術(shù)的進步。本節(jié)總結(jié)了推動邊緣計算發(fā)展的7項核心技術(shù)，它們包括網(wǎng)絡(luò)、隔離技術(shù)、...
摘要：邊緣計算，讓園區(qū)充滿智慧邊緣計算是指在靠近物或數(shù)據(jù)源頭的一側(cè)，采用網(wǎng)絡(luò)計算存儲應(yīng)用核心能力為一體的開放平臺，就近提供最近端服務(wù)。公布十大技術(shù)趨勢，邊緣計算位列其中。邊緣計算可廣泛應(yīng)用于在智慧園區(qū)工業(yè)制造商超車聯(lián)網(wǎng)等領(lǐng)域。 邊緣計算，讓園區(qū)充滿智慧邊緣計算是指在靠近物或數(shù)據(jù)源頭的一側(cè)，采用網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力為一體的開放平臺，就近提供最近端服務(wù)。其應(yīng)用程序在邊緣側(cè)發(fā)起，產(chǎn)生更快...
摘要：邊云協(xié)同是物聯(lián)網(wǎng)的未來大趨勢。如今在四個行業(yè)發(fā)布了多個測試床，新增個，包括邊緣智能邊云協(xié)同和邊緣安全創(chuàng)新等領(lǐng)域。邊云協(xié)同是能夠促使邊緣計算行業(yè)快速發(fā)展的一個主要因素之一。張宇博士認為，這就是物聯(lián)網(wǎng)發(fā)展的摩爾定律。大量物聯(lián)網(wǎng)設(shè)備所產(chǎn)生的數(shù)據(jù)洪流加大了云端的存儲和計算壓力，因此有人提出將存儲和計算在邊緣端完成的策略，邊緣計算在兩年前應(yīng)運而生，經(jīng)過兩年發(fā)展目前已經(jīng)在安防和工業(yè)領(lǐng)域初見成果，IDC預(yù)...
摘要：前言阿里巴巴機器智能實驗室線下智能團隊從年底開始涉及線下智能領(lǐng)域，從算法工程產(chǎn)品化業(yè)務(wù)落地多個方面入手，與合作伙伴們一起取得了一些小小的成績。目前，該套工具作為推薦的量化工具廣泛應(yīng)用在阿里集團內(nèi)多個線下業(yè)務(wù)場景中。 showImg(https://segmentfault.com/img/remote/1460000019246850); 阿里妹導(dǎo)讀：AI 技術(shù)已經(jīng)從互聯(lián)網(wǎng)走向零售、...
閱讀 2777·2021-11-23 09:51
閱讀 3534·2021-10-08 10:17
閱讀 1269·2021-10-08 10:05
閱讀 1321·2021-09-28 09:36
閱讀 1841·2021-09-13 10:30
閱讀 2183·2021-08-17 10:12
閱讀 1678·2019-08-30 15:54
閱讀 2009·2019-08-30 15:53
