摘要:谷歌在年國際消費電子展以及今年的開發(fā)峰會上首次展示了他們的,然后于三月份發(fā)布了。樹莓派上性能的局限性不幸的是,業(yè)余愛好者最喜歡樹莓派無法充分發(fā)揮加速器的功能和速度。使用端口,目前的樹莓派設(shè)備沒有或,而只能使用速度較慢的。
Edge AI是什么?它為何如此重要?
傳統(tǒng)意義上,AI解決方案需要強大的并行計算處理能力,長期以來,AI服務(wù)都是通過聯(lián)網(wǎng)在線的云端基于服務(wù)器的計算來提供服務(wù)。但是具有實時性要求的AI解決方案需要在設(shè)備上進(jìn)行計算 ,因此邊緣人工智能(Edge AI)正在逐漸進(jìn)入人們的視野。
雖然本質(zhì)上AI計算可以使用基于GPU的設(shè)備,但這套設(shè)備成本高昂,并且搭配非常繁瑣,比如對內(nèi)存要求越來越高、能耗越來越大等。無論是從研究還是創(chuàng)新角度來講,邊緣人工智能推理都正在成為蓬勃發(fā)展的深度學(xué)習(xí)革命越來越重要的組成部分。
與此同時手持設(shè)備(比如手機、平板等)日益普及,每年都能賣掉幾十億臺,手機已然成為日常使用最為頻繁的設(shè)備,可以預(yù)測對移動AI計算的需求也正在穩(wěn)步增加。 因此,移動處理器的開發(fā)已經(jīng)變得越來越以人工智能為重點,這些處理器都具有用于機器學(xué)習(xí)的專用硬件,比如現(xiàn)在主流的手機CPU評測都會加上一項AI計算能力的跑分。
目前從消費應(yīng)用到企業(yè)應(yīng)用都遍布 AI 的身影。隨著聯(lián)網(wǎng)設(shè)備數(shù)量的爆發(fā)式增長,以及對隱私/機密、低延遲時間和帶寬限制的需求,云端訓(xùn)練的 AI 模型需要在邊緣運行的情況不斷增加。Edge TPU 是 Google 專門為在邊緣運行 AI 而打造的 ASIC,它體型小、能耗低,但性能出色,讓您可以在邊緣部署高精度 AI。從下圖可以看出Edge TPU核心的面積僅有一美分的大概十分之一大小。
Edge TPU可以用來做什么?可以使用Edge TPU在移動設(shè)備上訓(xùn)練模型,但目前僅支持通過遷移學(xué)習(xí)在設(shè)備上重新訓(xùn)練的分類模型,這種訓(xùn)練方法是在Low-Shot Learning with Imprinted Weights這篇論文中提到的imprinted weight技術(shù),此技術(shù)為實時系統(tǒng)創(chuàng)造了許多可能性。并且,據(jù)相關(guān)評測顯示,Edge TPU是同類產(chǎn)品中計算速度最快的設(shè)備。
市面上已經(jīng)有的其他AI邊緣推理硬件雖然這是第一個Edge TPU,但這之前就已經(jīng)有一些類似的AI專用硬件,例如:
英特爾基于MyriadVPU的神經(jīng)計算棒,及Google Vision Kit。
基于Cuda的NVIDIA Jetson TX2。
Coral Beta版TPU,也稱張量處理單元(Tensor Processing Unit)主要供Google數(shù)據(jù)中心使用。對于普通用戶,可以在Google云端平臺(GCP)上使用,也可以使用Google Colab來使用免費版。
谷歌在2019年國際消費電子展(以及今年的TensorFlow開發(fā)峰會上)首次展示了他們的Edge TPU,然后于三月份發(fā)布了Coral Beta。
Beta版本包括開發(fā)板和USB加速器,以及用于生產(chǎn)目的的預(yù)覽版PCI-E加速器和模塊化系統(tǒng)(SOM)。
USB AcceleratorEdge TPU USB Accelerator與任何其他USB設(shè)備基本一樣,跟英特爾的MyriadVPU的差不多,但功能更強大。接下來我們來一個開箱,并且稍微上手看看。
開箱盒子中包含:
入門指南
USB加速器
Type C USB數(shù)據(jù)線
入門指南入門指南介紹了安裝步驟,你可以很快完成安裝。包括模型文件在內(nèi)的所有需要的文件可以隨安裝包一起在官網(wǎng)下載即可,安裝過程并不需要TensorFlow或OpenCV這些依賴庫。
</>復(fù)制代碼
提示:必須使用Python 3.5,否則將無法完成安裝。還需要將install.sh文件最后一行
python3.5 setup.py develop - user
改為
python3 setup.py develop - user
演示程序
Coral Edge TPU API文檔包括圖像分類和目標(biāo)檢測的概述和演示程序。
Edge TPU API在完成以下教程之前,關(guān)于Edge TPU API有以下注意事項:
需要安裝Python的edgetpu模塊才能在Edge TPU上運行TensorFlow Lite模型。它是一個較高層的API,包含一些簡單的API以執(zhí)行模型推理過程。
這些API已經(jīng)預(yù)先安裝在開發(fā)板上,但如果使用的是USB加速器,則需要自行下載。詳細(xì)信息請參閱此設(shè)置指南。
推理過程中需要用到以下關(guān)鍵API:用于圖像分類的ClassificationEngine、用于目標(biāo)檢測的DetectionEngine和用于遷移學(xué)習(xí)的ImprintingEngine。
圖像分類實現(xiàn)圖像分類的Demo非常簡單,比如可以將下邊的圖片作為ClassificationEngine接口的輸入:
與圖像分類一樣,我們只需要調(diào)用一下DetectionEngine接口,就可以將輸入圖片中的目標(biāo)檢測出并用方框進(jìn)行標(biāo)識:
由于默認(rèn)配置會產(chǎn)生假負(fù)例,我們可以將默認(rèn)示例程序中的閾值從0.05調(diào)整到0.5,另外將矩形的寬度調(diào)整為5,可以得到以下結(jié)果:
由于Coral仍只有測試版,API文檔中給出的細(xì)節(jié)不夠完整,但目前給出的部分用于以上示例已經(jīng)足夠了。
注意事項以上demo的所有代碼、模型和標(biāo)注文件都隨安裝包中包含的庫文件一同在官網(wǎng)下載,根據(jù)目前已經(jīng)給出的模型和輸入標(biāo)注文件等,我們可以完成分類和檢測任務(wù)。
對于分類任務(wù),結(jié)果返回排名前2的預(yù)測類別及對應(yīng)的置信度得分;而對于目標(biāo)檢測任務(wù),結(jié)果將返回置信度得分及標(biāo)注方框的各頂點坐標(biāo),若輸入時給出類別標(biāo)注,返回結(jié)果中也包含類別名稱。
樹莓派上性能的局限性不幸的是,業(yè)余愛好者最喜歡樹莓派無法充分發(fā)揮USB加速器的功能和速度。USB Accelerator使用USB 3.0端口,目前的樹莓派設(shè)備沒有USB 3或USB type-C,而只能使用速度較慢的USB 2。
目前,它只在Debian Linux上運行,但預(yù)計很快就會有支持其他操作系統(tǒng)的方法。
深入拓展在Edge TPU的幫助下,Coral還能提供哪些產(chǎn)品呢?
開發(fā)板(Dev Board)作為開發(fā)板來講,樹莓派通常是最受歡迎的選擇,但谷歌卻更推崇NXP i.MX 8M SOC(Quad-core Cortex-A53 與 Cortex-M4F)。有關(guān)開發(fā)版的更多信息,請參考此頁面。
但是如果用于實驗,尤其是僅需使用Edge TPU的情況下,我們更加推薦USB Accelerator。
后續(xù)開發(fā)若您已經(jīng)使用開發(fā)板或USB Accelerator做出了不錯的prototype原型機,但后續(xù)需要將同樣的代碼應(yīng)用于大規(guī)模生產(chǎn)環(huán)境,該怎么辦呢?
谷歌已經(jīng)預(yù)先想到這一點,可以在產(chǎn)品列表中看到,下述模塊將用于企業(yè)支持,并且已經(jīng)被標(biāo)記為 _即將上線_。
模塊化系統(tǒng)(System-on-module, SOM)這是一個完全集成的系統(tǒng)(包含CPU、GPU、Edge TPU、Wifi、藍(lán)牙和安全元件),采用大小為40mm*40mm的可插拔模塊。
此模塊可以用于大規(guī)模生產(chǎn),制造商可以按照本模塊所提供的指南生產(chǎn)自己喜歡的IO板,甚至上文提到的已經(jīng)上市的開發(fā)板(Dev Board)都包含這個可拆卸的模塊,理論上只要拆下來就可以使用。
PCI-E 加速器關(guān)于PCI-E加速器的信息很少,但顧名思義,它是一個帶有PCI-E(快捷外設(shè)互聯(lián)標(biāo)準(zhǔn),Peripheral Component Interconnect Express)的模塊,且有兩種變體,這類似于USB加速器,不過不同之處在于將USB接口換成了PCI-E,就像內(nèi)存條或者網(wǎng)卡那樣,樹莓派也有PCI-E接口的Compute Module版本。
隨著各種外設(shè)模塊的誕生,可以預(yù)料,一些企業(yè)級項目也將隨之誕生。谷歌Coral也這么認(rèn)為,在他們的網(wǎng)站上有以下說法:
Tensorflow與Coral項目</>復(fù)制代碼
靈活易用,精準(zhǔn)裁剪,適用于初創(chuàng)公司與大型企業(yè)。
谷歌的產(chǎn)品大都與Tensorflow有關(guān),目前,Edge TPU僅支持傳統(tǒng)的Tensorflow Lite版本的模型,Tensorflow Lite穩(wěn)定版剛剛發(fā)布,參見此頁面。
目前,你需要通過一個網(wǎng)頁編譯器將tflite模型轉(zhuǎn)換為tflite-tpu模型。如果使用的是PyTorch或其他框架也不用擔(dān)心,可以通過ONNX將模型轉(zhuǎn)化為Tensorflow模型。
展望盡管缺乏對樹莓派的全面支持,以及Beta版本中文檔有限,但我對Coral項目保持樂觀態(tài)度。雖然無法立刻確定這種技術(shù)的發(fā)展前景,但對更強大、低能耗、高成本效益以及更具創(chuàng)新性的產(chǎn)品,我們應(yīng)當(dāng)報以更高的期望。
好了,本次介紹就到這里,這個系列的全文會收錄在我的github目錄,歡迎大家star和溝通:https://github.com/asukafighting/RaspberryPiHacker
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/20038.html
摘要:深度學(xué)習(xí)是一個對算力要求很高的領(lǐng)域。這一早期優(yōu)勢與英偉達(dá)強大的社區(qū)支持相結(jié)合,迅速增加了社區(qū)的規(guī)模。對他們的深度學(xué)習(xí)軟件投入很少,因此不能指望英偉達(dá)和之間的軟件差距將在未來縮小。 深度學(xué)習(xí)是一個對算力要求很高的領(lǐng)域。GPU的選擇將從根本上決定你的深度學(xué)習(xí)體驗。一個好的GPU可以讓你快速獲得實踐經(jīng)驗,而這些經(jīng)驗是正是建立專業(yè)知識的關(guān)鍵。如果沒有這種快速的反饋,你會花費過多時間,從錯誤中吸取教訓(xùn)...
摘要:谷歌也不例外,在大會中介紹了人工智能近期的發(fā)展及其對計算機系統(tǒng)設(shè)計的影響,同時他也對進(jìn)行了詳細(xì)介紹。表示,在谷歌產(chǎn)品中的應(yīng)用已經(jīng)超過了個月,用于搜索神經(jīng)機器翻譯的系統(tǒng)等。此外,學(xué)習(xí)優(yōu)化更新規(guī)則也是自動機器學(xué)習(xí)趨勢中的一個信號。 在剛剛結(jié)束的 2017 年國際高性能微處理器研討會(Hot Chips 2017)上,微軟、百度、英特爾等公司都發(fā)布了一系列硬件方面的新信息,比如微軟的 Projec...
摘要:本文內(nèi)容節(jié)選自由主辦的第七屆,北京一流科技有限公司首席科學(xué)家袁進(jìn)輝老師木分享的讓簡單且強大深度學(xué)習(xí)引擎背后的技術(shù)實踐實錄。年創(chuàng)立北京一流科技有限公司,致力于打造分布式深度學(xué)習(xí)平臺的事實工業(yè)標(biāo)準(zhǔn)。 本文內(nèi)容節(jié)選自由msup主辦的第七屆TOP100summit,北京一流科技有限公司首席科學(xué)家袁進(jìn)輝(老師木)分享的《讓AI簡單且強大:深度學(xué)習(xí)引擎OneFlow背后的技術(shù)實踐》實錄。 北京一流...
閱讀 2883·2019-08-30 15:44
閱讀 1915·2019-08-29 13:59
閱讀 2853·2019-08-29 12:29
閱讀 1100·2019-08-26 13:57
閱讀 3212·2019-08-26 13:45
閱讀 3342·2019-08-26 10:28
閱讀 858·2019-08-26 10:18
閱讀 1706·2019-08-23 16:52