在阿里云Kubernetes容器服務上打造TensorFlow實驗室

raise_yang 發布于2019-06-26 18:24 / 669人閱讀

摘要：準備環境阿里云容器服務目前已經上線，但是購買按量付費的計算型服務器需要申請工單開通。總結我們可以利用阿里云容器服務，輕松的搭建在云端搭建的環境，運行深度學習的實驗室，并且利用追蹤訓練效果。

摘要：利用Jupyter開發TensorFLow也是許多數據科學家的首選，但是如何能夠快速從零搭建一套這樣的環境，并且配置GPU的使用，同時支持最新的TensorFLow版本, 對于數據科學家來說既是復雜的，同時也是浪費精力的。

簡介

TensorFLow是深度學習和機器學習最流行的開源框架，它最初是由Google研究團隊開發的并致力于解決深度神經網絡的機器學習研究，從2015年開源到現在得到了廣泛的應用。特別是Tensorboard這一利器，對于數據科學家有效的工作也是非常有效的利器。

Jupyter notebook是強大的數據分析工具，它能夠幫助快速開發并且實現機器學習代碼的共享，是數據科學團隊用來做數據實驗和組內合作的利器，也是機器學習初學者入門這一個領域的好起點。

利用Jupyter開發TensorFLow也是許多數據科學家的首選，但是如何能夠快速從零搭建一套這樣的環境，并且配置GPU的使用，同時支持最新的TensorFLow版本, 對于數據科學家來說既是復雜的，同時也是浪費精力的。在阿里云的Kubernetes集群上，您可以通過簡單的按鈕提交創建一套完整的TensorFlow實驗環境，包括Jupyter Notebook開發模型，利用Tensorboard調整模型。

準備Kubernetes環境

阿里云容器服務Kubernetes 1.9.3目前已經上線，但是購買按量付費的GPU計算型服務器需要申請ECS工單開通。具體創建過程，可以參考創建Kubernetes集群。

體驗通過應用目錄部署TensorFlow實驗室

通過Helm部署MPI的應用，本文以openmpi為例，向您展示如何快速在容器服務上運行MPI應用。實際上如果需要換成其他MPI實現只需要替換鏡像即可。

2.1 可以通過應用目錄，點擊ack-tensorflow-dev

2.2 點擊參數, 就可以通過修改參數配置點擊部署

這里的密碼是tensorflow，您也可以改成您自己設定的密碼

也可以登錄到Kubernetes master運行以下命令

$ helm install --name tensorflow incubator/ack-tensorflow

2.3 運行結束后可以登錄到控制臺，查看tensorflow應用啟動的狀態

登錄使用TensorFlow實驗環境
首先通過ssh登錄Kubernetes集群，查看tensorflow應用列表

$ helm list
NAME          REVISION    UPDATED                     STATUS      CHART                       NAMESPACE
tensorflow    1           Thu Apr 12 07:54:59 2018    DEPLOYED    ack-tensorflow-dev-0.1.0    default

利用helm status檢查應用配置

$ helm status tensorflow
LAST DEPLOYED: Thu Apr 12 07:54:59 2018
NAMESPACE: default
STATUS: DEPLOYED

RESOURCES:
==> v1/Service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
tensorflow-ack-tensorflow-dev LoadBalancer 172.19.2.39 10.0.0.1 6006:32483/TCP,80:32431/TCP 13m

==> v1beta2/Deployment
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
tensorflow-ack-tensorflow-dev 1 1 1 1 13m

NOTES:

Get the application URL by running these commands:
NOTE: It may take a few minutes for the LoadBalancer IP to be available.

     You can watch the status of by running "kubectl get svc -w tensorflow-ack-tensorflow-dev"

export SERVICE_IP=$(kubectl get svc --namespace default tensorflow-ack-tensorflow-dev -o jsonpath="{.status.loadBalancer.ingress[0].ip}")
echo http://$SERVICE_IP:

這里可以看到外部SLB的ip是10.0.0.1， Jupyter Notebook的端口為80， Tensorboard為6006。

通過Jupyter訪問端點登錄，本示例中Jupyter的訪問地址是http://10.0.0.1, 輸入前面設定的密碼點擊登錄, 在本示例中我們設定的是tensorflow

點擊Terminal按鈕

在Terminal內執行nvidia-smi, 可以看到GPU的配置

通過git命令下載tensorflow樣例代碼，

$ git clone https://code.aliyun.com/kuber...

回到主頁您就能看到Tensorflow-Examples已經下載到了您的工作目錄

進入到 http://10.0.0.1/notebooks/Ten... 運行程序

注意：如果您需要用Tensorboard觀測訓練效果請將日志記錄到/output/training_logs下。

以下為訓練結果輸出

這時您可以登錄Tensorboard查看訓練效果，本示例中Tensorboard的地址為http://10.0.0.1:6006 。這里您可以看到模型的定義和訓練的收斂趨勢。

總結

我們可以利用阿里云Kubernetes容器服務，輕松的搭建在云端搭建TensorFlow的環境，運行深度學習的實驗室，并且利用TensorBoard追蹤訓練效果。歡迎大家使用阿里云上的GPU容器服務，在使用GPU高效計算的能力同時，比較簡單和快速的開始模型開發工作。

原文鏈接

云服務器 GPU云服務器在阿里云服務器上跑圖像處理實驗阿里云雙11容器服務Kubernetes版組團優惠 kubernetes 容器云 tensorflow實驗

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/19731.html

阿里云在LC3大會上透露未來要做的兩件事

摘要：阿里云彈性計算作為計算能力的基礎，今年做的最重要的件事。未來阿里云將在這兩件事上，不斷發力，將普惠的云真正的帶給大家。摘要：阿里云研究員褚霸在LC3大會上同多位業界資深大咖同臺交流表示，阿里云發展到今天，把過去應對淘寶、天貓大規模計算以及雙11的計算能力轉換成普惠的能力放在云上，這是一個非常大的挑戰，也是其他廠商沒有經歷過的。這些挑戰不斷幫助阿里云積累經驗，提升技術能力。 6月25...

ermaoL 2019-06-24 18:04 評論0 收藏0
劍指Kubernetes 揭秘騰訊云的PaaS技術選型策略

摘要：騰訊云在年底決定開發容器產品隨后組建容器技術團隊并進行技術選型通過對不同編排工具的分析對比最終選擇作為容器編排引擎并且迅速在年初推出容器解決方案為用戶提供托管的一站式服務。但是騰訊云最終選擇了現在看來這個選擇無比正確。Kubernetes 很火,一大批互聯網公司早已領先一步,搭建起專有的 PaaS平臺,傳統企業們看到的 Kubernetes的趨勢,亦不甘落后,在試水的道上一路狂奔。雖然,Ku...

icattlecoder 2019-04-30 11:34 評論0 收藏0
推進企業容器化持續創新，Rancher ECIC千人盛典完美收官

摘要：年月日，由以下簡稱主辦的第三屆企業容器創新大會以下簡稱在北京喜來登大酒店盛大舉行。在未來，希望能為中國用戶帶來更多更實用的容器技術，推動中國企業容器化的持續創新。 2019年6月20日，由Rancher Labs（以下簡稱Rancher）主辦的第三屆企業容器創新大會（Enterprise Container Innovation Conference, 以下簡稱ECIC）在北京喜來登大...

mengbo 2019-07-01 17:20 評論0 收藏0
CloudBest：年度復盤丨盤點2020無處不在的「云原生」

摘要：華為云華為云在云原生這場游戲中，最具競爭力的玩家之一。年，金山云在云原生領域推出了三款重磅產品星曜裸金屬服務器云服務器和云盤。在線上智博會上，浪潮云發布了經過全新迭代升級的浪潮云，進一步提升平臺云原生服務能力。面對數字時代復雜系統的不確定性，傳統的 IT 應用架構研發交付周期長、維護成本高、創新升級難，煙囪式架構，開放性差、組件復用度低，這些都成為了企業業務快速增長的瓶頸。而云原生以其敏捷、...

Tecode 2022-06-28 18:59 評論0 收藏0
利用K8S技術棧打造個人私有云（連載之：K8S資源控制）

摘要：將用戶命令通過接口傳送給，從而進行資源的增刪改等操作。要使用編寫應用程序，當下大多語言都可以很方便地去實現請求來操作的接口從而控制和查詢資源，但本文主要是利用已有的客戶端來更加優雅地實現的資源控制。 showImg(https://segmentfault.com/img/remote/1460000013517345); 【利用K8S技術棧打造個人私有云系列文章目錄】利用K8S...

Reducto 2019-06-28 17:55 評論0 收藏0