TrueNorth：IBM的百萬(wàn)神經(jīng)元類人腦芯片

you_De 發(fā)布于2019-04-25 17:59 / 2309人閱讀

摘要：年的時(shí)候，首先推出了單核含個(gè)神經(jīng)元，個(gè)突觸和個(gè)軸突的芯片原型。個(gè)內(nèi)核，萬(wàn)個(gè)神經(jīng)元億個(gè)突觸集成在直徑只有幾厘米的方寸是年原型大小的之間，而且能耗只有不到毫瓦，的集成的確令人印象深刻。

郵票大小、重量只有幾克，但卻集成了54億個(gè)硅晶體管，內(nèi)置了4096個(gè)內(nèi)核，100萬(wàn)個(gè)“神經(jīng)元”、2.56億個(gè)“突觸”，能力相當(dāng)于一臺(tái)超級(jí)計(jì)算機(jī)，功耗卻只有65毫瓦。

這就是IBM公布的仿人腦芯片：TrueNorth。

為什么要做TrueNorth？

因?yàn)樽?008年以來，美國(guó)國(guó)防部研究機(jī)構(gòu)DARPA給了IBM 5300萬(wàn)美元。TrueNorth是IBM參與DARPA的研究項(xiàng)目SyNapse的成果。SyNapse全稱是Systems of Neuromorphic Adaptive Plastic Scalable Electronics（自適應(yīng)可塑可伸縮電子神經(jīng)系統(tǒng)，而SyNapse正好是突觸的意思），其終極目標(biāo)是開發(fā)出打破馮諾依曼體系的硬件。

為什么要打破馮諾依曼體系？

馮諾依曼體系是傳統(tǒng)計(jì)算機(jī)的基礎(chǔ)。這種體系的特點(diǎn)是存放信息和程序指令的內(nèi)存與處理信息的處理器是分離的。由于處理器是按照線序執(zhí)行指令的，所以必須不斷與內(nèi)存通過總線反復(fù)交換信息—而這個(gè)會(huì)成為拖慢速度和浪費(fèi)能量的瓶頸。盡管后來采用了多核芯片和緩存技術(shù)，但是這些只能提高速度而不能降低太多能耗，而且沒辦法實(shí)時(shí)處理，因?yàn)橥ㄐ攀瞧款i—內(nèi)存和CPU的大量通信要通過總線進(jìn)行。因此，近幾十年來研究人員一直在致力于尋找突破原有體系的技術(shù)。

模仿大腦

模仿人類大腦是科學(xué)家尋求突破的方向。人類大腦的神經(jīng)元盡管傳導(dǎo)信號(hào)的速度很慢，但是卻擁有龐大的數(shù)量（千億級(jí)），而且每個(gè)神經(jīng)元都通過成千上萬(wàn)個(gè)突觸與其他神經(jīng)元相連，形成超級(jí)龐大的神經(jīng)元回路，以分布式和并發(fā)式的方式傳導(dǎo)信號(hào)，相當(dāng)于超大規(guī)模的并行計(jì)算，從而彌補(bǔ)了單神經(jīng)元處理速度的不足。人腦的另一個(gè)特點(diǎn)是部分神經(jīng)元不使用時(shí)可以關(guān)閉，從而整體能耗很低。

在了解了人腦的這種機(jī)理之后，研究人員開始了在軟硬件上對(duì)人腦的模擬。在硬件方面，近年來主要是通過對(duì)大型神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真，如Google的深度學(xué)習(xí)系統(tǒng)Google Brain，微軟的Adam等。但是這些網(wǎng)絡(luò)需要大量傳統(tǒng)計(jì)算機(jī)的集群。比方說Google Brain就采用了1000臺(tái)各帶16核處理器的計(jì)算機(jī)，這種架構(gòu)盡管展現(xiàn)出了相當(dāng)?shù)哪芰Γ悄芎囊廊痪薮蟆?/p>

而IBM則是在芯片上的模仿。

集成度和能效令人印象深刻

這種芯片把數(shù)字處理器當(dāng)作神經(jīng)元，把內(nèi)存作為突觸，跟傳統(tǒng)馮諾依曼結(jié)構(gòu)不一樣，它的內(nèi)存、CPU和通信部件是完全集成在一起。因此信息的處理完全在本地進(jìn)行，而且由于本地處理的數(shù)據(jù)量并不大，傳統(tǒng)計(jì)算機(jī)內(nèi)存與CPU之間的瓶頸不復(fù)存在了。同時(shí)神經(jīng)元之間可以方便快捷地相互溝通，只要接收到其他神經(jīng)元發(fā)過來的脈沖（動(dòng)作電位），這些神經(jīng)元就會(huì)同時(shí)做動(dòng)作。

2011年的時(shí)候，IBM首先推出了單核含256 個(gè)神經(jīng)元，256 256 個(gè)突觸和 256 個(gè)軸突的芯片原型。當(dāng)時(shí)的原型已經(jīng)可以處理像玩Pong游戲這樣復(fù)雜的任務(wù)。不過相對(duì)來說還是比較簡(jiǎn)單，從規(guī)模上來說，這樣的單核腦容量?jī)H相當(dāng)于蟲腦的水平。

不過，經(jīng)過3年的努力，IBM終于在復(fù)雜性和使用性方面取得了突破。4096個(gè)內(nèi)核，100萬(wàn)個(gè)“神經(jīng)元”、2.56億個(gè)“突觸”集成在直徑只有幾厘米的方寸（是2011年原型大小的1/16）之間，而且能耗只有不到70毫瓦，IBM的集成的確令人印象深刻。

IBM的TrueNorth芯片結(jié)構(gòu)、功能、物理形態(tài)圖

這樣的芯片能夠做什么事情呢？IBM研究小組曾經(jīng)利用做過DARPA 的NeoVision2 Tower數(shù)據(jù)集做過演示。它能夠?qū)崟r(shí)識(shí)別出用30幀每秒的正常速度拍攝自斯坦福大學(xué)胡佛塔的十字路口視頻中的人、自行車、公交車、卡車等，準(zhǔn)確率達(dá)到了80%。相比之下，一臺(tái)筆記本編程完成同樣的任務(wù)用時(shí)要慢100倍，能耗卻是IBM芯片的1萬(wàn)倍。

跟傳統(tǒng)計(jì)算機(jī)用FLOPS（每秒浮點(diǎn)運(yùn)算次數(shù)）衡量計(jì)算能力一樣，IBM使用SOP（每秒突觸運(yùn)算數(shù)）來衡量這種計(jì)算機(jī)的能力和能效。其完成460億SOP所需的能耗僅為1瓦—正如文章開頭所述，這樣的能力一臺(tái)超級(jí)計(jì)算機(jī)，但是一塊小小的助聽器電池即可驅(qū)動(dòng)。

通信效率極高，從而大大降低能耗這是這款芯片較大的賣點(diǎn)。TrueNorth的每一內(nèi)核均有256個(gè)神經(jīng)元，每一個(gè)神經(jīng)有分別都跟內(nèi)外部的256個(gè)神經(jīng)元連接。

但是相比之下，人腦有上千億個(gè)神經(jīng)元，每個(gè)神經(jīng)元又有成千上萬(wàn)的突觸，那樣一個(gè)神經(jīng)網(wǎng)絡(luò)就更加無法想象了。IBM的最終目標(biāo)就是希望建立一臺(tái)包含 100 億個(gè)神經(jīng)元和 100 萬(wàn)億個(gè)突觸的計(jì)算機(jī)—這樣的計(jì)算機(jī)要比人類大腦的功都強(qiáng)大10 倍，而功耗只有一千瓦，而且重量不到兩升（我們大腦的大小）。

應(yīng)用

不過，計(jì)算能力并非這種最強(qiáng)大腦的長(zhǎng)處，其強(qiáng)項(xiàng)在于認(rèn)知能力。認(rèn)知芯片可以執(zhí)行感知、交互、識(shí)別等任務(wù)，就像演示中的識(shí)別對(duì)象一樣。IBM預(yù)計(jì)這種認(rèn)知能力可以在物聯(lián)網(wǎng)中充分能力，部署在傳感器中處理現(xiàn)實(shí)世界的感知問題。使用認(rèn)知計(jì)算機(jī)通過傳感器網(wǎng)絡(luò)和微型電機(jī)網(wǎng)絡(luò)不斷記錄和報(bào)告數(shù)據(jù)如溫度，壓力，波高，聲學(xué)和海潮等來監(jiān)測(cè)世界范圍內(nèi)的供水狀況。然后，它還可以在發(fā)生地震的情況下發(fā)出海嘯警報(bào)。而這樣的任務(wù)傳統(tǒng)計(jì)算機(jī)根本不可能完成。或者這種芯片也可以部署在它的Watson上面，從而大大提升這臺(tái)在智力競(jìng)賽中戰(zhàn)勝人類冠軍的超級(jí)計(jì)算機(jī)的能力和能效。

因此，有人把IBM的芯片稱為是計(jì)算機(jī)史上最偉大的發(fā)明之一，將會(huì)引發(fā)技術(shù)革命，顛覆從云計(jì)算到超計(jì)算機(jī)乃至于智能手機(jī)等一切。

前景

但是從短期來看，情況也許并沒有那么樂觀。

首先芯片的編程仍然是個(gè)大問題。芯片的編程要考慮選擇哪一個(gè)神經(jīng)元來連接，以及神經(jīng)元之間相互影響的程度。比方說，為了識(shí)別上述視頻中的汽車，編程人員首先要對(duì)芯片的仿真版進(jìn)行必要的設(shè)置，然后再傳給實(shí)際的芯片。這種芯片需要顛覆以往傳統(tǒng)的編程思想，盡管IBM去年已經(jīng)發(fā)布了一套工具，但是目前編程仍非常困難，IBM團(tuán)隊(duì)正在編制令該過程簡(jiǎn)單一點(diǎn)的開發(fā)庫(kù)。（當(dāng)然，如果我們回顧過去編程語(yǔ)言從匯編一路走來的歷史，這一點(diǎn)也許不會(huì)成為問題。）

其次，在部分專業(yè)人士看來，這種芯片的能力仍有待證實(shí)。

在神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)專家看來，DARPA的NeoVision2 Tower的數(shù)據(jù)集相對(duì)比較簡(jiǎn)單，演示只是識(shí)別了5種對(duì)象，相對(duì)于Google和百度等圖像識(shí)別使用的是有上百萬(wàn)中對(duì)象的ImageNet，芯片在這種測(cè)試集的表現(xiàn)如何尚不得而知。

再者，真正的認(rèn)知計(jì)算應(yīng)該能從經(jīng)驗(yàn)中學(xué)習(xí)，尋找關(guān)聯(lián)，提出假設(shè)，記憶，并基于結(jié)果學(xué)習(xí)，而IBM的演示里所有學(xué)習(xí)都是在線下的馮諾依曼計(jì)算機(jī)上進(jìn)行的。不過目前大多數(shù)的機(jī)器學(xué)習(xí)都是離線進(jìn)行的，因?yàn)閷W(xué)習(xí)經(jīng)常需要對(duì)算法進(jìn)行調(diào)整，而IBM的硬件并不具備調(diào)整的靈活性，不擅長(zhǎng)做這件事情。但是IBM并不排除硬件實(shí)現(xiàn)的可能性（這家公司在歷史上已經(jīng)表現(xiàn)出極佳的持續(xù)改進(jìn)能力）。但是從事同類研究的LeCun認(rèn)為，應(yīng)該開發(fā)能實(shí)現(xiàn)算法的芯片，那種芯片應(yīng)該不是IBM芯片的樣子，而是類似于改良版的GPU（參見微軟的Adam）。

所以說，IBM的芯片是否真如其名稱TrueNorth所述、為計(jì)算機(jī)的未來找到了真正的方向，目前尚不得而知。但是，至少這款芯片超高集成度和超低能耗已經(jīng)給人留下了深刻印象。

IBM集成16塊TrueNorth芯片的電路板