邊緣計(jì)算探索：處理器，算法與內(nèi)存

svtter 發(fā)布于2019-04-25 17:50 / 1178人閱讀

摘要：什么是邊緣計(jì)算最近，邊緣計(jì)算成為了人工智能和物聯(lián)網(wǎng)領(lǐng)域非常熱門(mén)的關(guān)鍵詞。用于邊緣計(jì)算的處理器要多通用是否要上專(zhuān)用加速器常規(guī)物聯(lián)網(wǎng)終端節(jié)點(diǎn)的處理器是一塊簡(jiǎn)單的，以控制目的為主，運(yùn)算能力相對(duì)較弱。

什么是邊緣計(jì)算

最近，邊緣計(jì)算成為了人工智能和物聯(lián)網(wǎng)領(lǐng)域非常熱門(mén)的關(guān)鍵詞。

人們對(duì)于人工智能和物聯(lián)網(wǎng)的最初設(shè)想是，在云端有一個(gè)異常強(qiáng)大的數(shù)據(jù)中心，而物聯(lián)網(wǎng)各個(gè)節(jié)點(diǎn)負(fù)責(zé)采集數(shù)據(jù)交給云端，云端在根據(jù)數(shù)據(jù)分析并做決策后再把結(jié)果發(fā)還給終端。在這種模型中，云端負(fù)責(zé)智能計(jì)算，而終端節(jié)點(diǎn)負(fù)責(zé)數(shù)據(jù)采集以及決策執(zhí)行。

然而，這樣的設(shè)想在實(shí)際實(shí)現(xiàn)中遇到了不少困難。第一個(gè)困難來(lái)源于數(shù)據(jù)傳輸?shù)拈_(kāi)銷(xiāo)。物聯(lián)網(wǎng)節(jié)點(diǎn)通常都使用無(wú)線(xiàn)網(wǎng)絡(luò)與云端做數(shù)據(jù)傳輸，而如果物聯(lián)網(wǎng)節(jié)點(diǎn)把不加任何處理的原始數(shù)據(jù)一股腦全部傳到云端，會(huì)導(dǎo)致帶寬需求爆炸，網(wǎng)絡(luò)基礎(chǔ)架構(gòu)沒(méi)法支撐如此高的帶寬。開(kāi)銷(xiāo)的另一部分是無(wú)線(xiàn)傳輸?shù)墓模绻褦?shù)據(jù)不加任何處理就傳輸?shù)皆贫耍敲唇K端節(jié)點(diǎn)的無(wú)線(xiàn)傳輸模塊必須支持高速無(wú)線(xiàn)傳輸，這就意味著無(wú)線(xiàn)模塊需要很大的功耗，與物聯(lián)網(wǎng)節(jié)點(diǎn)低功耗的設(shè)想不符。第二個(gè)困難在于延遲。許多節(jié)點(diǎn)執(zhí)行的任務(wù)對(duì)于延遲非常敏感，例如無(wú)人駕駛，例如安防，在這些應(yīng)用中網(wǎng)絡(luò)傳輸帶來(lái)的延遲（幾十毫秒以上，有時(shí)候網(wǎng)絡(luò)信號(hào)不好會(huì)帶來(lái)數(shù)秒的延遲甚至掉線(xiàn)）無(wú)法被接受。

考慮到這些問(wèn)題，邊緣計(jì)算就成為了解決方案。在邊緣計(jì)算中，終端節(jié)點(diǎn)不再是完全不負(fù)責(zé)計(jì)算，而是做一定量的計(jì)算和數(shù)據(jù)處理，之后把處理過(guò)的數(shù)據(jù)再傳遞到云端。這樣一來(lái)延遲和帶寬的問(wèn)題可以解決，因?yàn)橛?jì)算在本地，而且處理過(guò)的數(shù)據(jù)一定是從原始數(shù)據(jù)中進(jìn)行過(guò)精煉的數(shù)據(jù)所以數(shù)據(jù)量會(huì)小很多。當(dāng)然，具體要在邊緣做多少計(jì)算也取決于計(jì)算功耗和無(wú)線(xiàn)傳輸功耗的折衷——終端計(jì)算越多，計(jì)算功耗越大，無(wú)線(xiàn)傳輸功耗通常就可以更小，對(duì)于不同的系統(tǒng)存在不同的最優(yōu)值。

對(duì)于邊緣計(jì)算系統(tǒng)，處理器、算法和存儲(chǔ)器是整個(gè)系統(tǒng)中最關(guān)鍵的三個(gè)要素。下面我們仔細(xì)分析這幾個(gè)元素。

用于邊緣計(jì)算的處理器：要多通用？是否要上專(zhuān)用加速器？

常規(guī)物聯(lián)網(wǎng)終端節(jié)點(diǎn)的處理器是一塊簡(jiǎn)單的MCU，以控制目的為主，運(yùn)算能力相對(duì)較弱。如果要在終端節(jié)點(diǎn)加邊緣計(jì)算能力，有兩種做法，第一是把這塊MCU做強(qiáng)，例如使用新的指令集增加對(duì)矢量計(jì)算的支持，使用多核做類(lèi)似SIMD的架構(gòu)等等；第二種是走異構(gòu)計(jì)算的思路，MCU還是保持簡(jiǎn)單的控制目的，計(jì)算部分則交給專(zhuān)門(mén)的加速器IP來(lái)完成，目前正火的AI芯片其實(shí)大部分做的就是這樣的一個(gè)專(zhuān)用人工智能算法加速器IP。顯然，前一種思路做出來(lái)通用性好，而第二種思路則是計(jì)算效率高。未來(lái)預(yù)期兩種思路會(huì)并行存在，平臺(tái)型的產(chǎn)品會(huì)使用第一種通用化思路，而針對(duì)某種大規(guī)模應(yīng)用做的定制化產(chǎn)品則會(huì)走專(zhuān)用加速器IP的思路。然而，IoT終端的專(zhuān)用加速器IP設(shè)計(jì)會(huì)和其他領(lǐng)域（如手機(jī)）的專(zhuān)用加速器設(shè)計(jì)有所不同，因?yàn)橛袃?nèi)存的限制（見(jiàn)下面分析）。

算法與內(nèi)存

眾所周知，目前最主流的深度神經(jīng)網(wǎng)絡(luò)模型大小通常在幾MB甚至幾百M(fèi)B，這就給在物聯(lián)網(wǎng)節(jié)點(diǎn)端的部署帶來(lái)了挑戰(zhàn)。物聯(lián)網(wǎng)節(jié)點(diǎn)端處于成本和體積的考量不能加DRAM，一般用FLASH（同時(shí)用于存儲(chǔ)操作系統(tǒng)等）作為系統(tǒng)存儲(chǔ)器。我們可以考慮用FLASH來(lái)存儲(chǔ)模型權(quán)重信息，但是緩存必須在處理器芯片上完成，因?yàn)镕LASH的寫(xiě)入速度比較慢。由于緩存大小一般都是在幾百KB到1MB數(shù)量級(jí)，這就限制了模型的大小，因此算法必須能把模型做到很小，這也是為什么最近“模型壓縮”這個(gè)話(huà)題會(huì)這么火的原因。

如果算法無(wú)法把模型做到很小，就需要考慮內(nèi)存內(nèi)計(jì)算。內(nèi)存內(nèi)計(jì)算（in-memory computing）是一種與傳統(tǒng)馮諾伊曼架構(gòu)不同的計(jì)算方式。馮諾伊曼架構(gòu)的做法是把處理器計(jì)算單元和存儲(chǔ)器分開(kāi)，需要時(shí)處理器從存儲(chǔ)器讀數(shù)據(jù)，之后在處理器處理完了數(shù)據(jù)之后再寫(xiě)回存儲(chǔ)器。因此傳統(tǒng)使用馮諾伊曼架構(gòu)的專(zhuān)用加速器大部分也需要配合DRAM內(nèi)存使用，使得這樣的方案在沒(méi)法加DRAM的物聯(lián)網(wǎng)節(jié)點(diǎn)端難以部署。內(nèi)存內(nèi)計(jì)算則是直接在內(nèi)存內(nèi)做計(jì)算而無(wú)需把數(shù)據(jù)取到處理器里，這樣就節(jié)省了內(nèi)存存取的額外開(kāi)銷(xiāo)。一塊內(nèi)存內(nèi)計(jì)算的加速器的主體就是一塊大SRAM或者Flash，然后在內(nèi)存上再加一些計(jì)算電路，從而直接在內(nèi)存內(nèi)做計(jì)算，理想情況下就能在沒(méi)有DRAM的情況下跑起來(lái)相關(guān)算法。

當(dāng)然內(nèi)存內(nèi)計(jì)算也有自己的挑戰(zhàn)。出了編程模型需要仔細(xì)考慮之外，內(nèi)存內(nèi)計(jì)算目前的實(shí)現(xiàn)方案本質(zhì)上都是做模擬計(jì)算，因此計(jì)算精度有限，F(xiàn)P32之類(lèi)的高精度肯定是不可能了。這就需要人工智能模型和算法做相應(yīng)配合，對(duì)于低精度計(jì)算（即量化計(jì)算，quantized computation）有很好的支持，避免在低精度計(jì)算下?lián)p失太多正確率。目前已經(jīng)有不少binary neural network（BNN）出現(xiàn)，即計(jì)算的時(shí)候只有1位精度0或者1，并且仍然能保持合理的分類(lèi)準(zhǔn)確率。

另一方面，目前IoT節(jié)點(diǎn)終端內(nèi)存不夠的問(wèn)題除了可以用模型壓縮來(lái)解決之外，另一條路就是使用新存儲(chǔ)器解決方案來(lái)實(shí)現(xiàn)高密度片上內(nèi)存，或者加速片外非易失性存儲(chǔ)器的讀寫(xiě)速度，并降低讀寫(xiě)功耗。因此，邊緣計(jì)算也將會(huì)催生新內(nèi)存器件，例如MRAM，ReRAM等等。

總結(jié)

邊緣計(jì)算是人工智能和物聯(lián)網(wǎng)結(jié)合的產(chǎn)物，是未來(lái)的重要趨勢(shì)。未來(lái)邊緣計(jì)算的關(guān)鍵技術(shù)，包括新處理器（強(qiáng)通用處理器或?qū)Ｓ眉铀倨鳎瑑?nèi)存內(nèi)計(jì)算，網(wǎng)絡(luò)模型壓縮，以及新存儲(chǔ)器。喜歡新技術(shù)的朋友們不妨多多關(guān)注這些領(lǐng)域，預(yù)計(jì)會(huì)出現(xiàn)不少有趣的公司和技術(shù)。

歡迎加入本站公開(kāi)興趣群

軟件開(kāi)發(fā)技術(shù)群

興趣范圍包括：Java，C/C++，Python，PHP，Ruby，shell等各種語(yǔ)言開(kāi)發(fā)經(jīng)驗(yàn)交流，各種框架使用，外包項(xiàng)目機(jī)會(huì)，學(xué)習(xí)、培訓(xùn)、跳槽等交流

QQ群：26931708

Hadoop源代碼研究群

興趣范圍包括：Hadoop源代碼解讀，改進(jìn)，優(yōu)化，分布式系統(tǒng)場(chǎng)景定制，與Hadoop有關(guān)的各種開(kāi)源項(xiàng)目，總之就是玩轉(zhuǎn)Hadoop

QQ群：288410967?