摘要：截至目前，已服務(wù)了上汽集團(tuán)集團(tuán)本部上汽乘用車上汽大通吉安物流賽客出行等余家汽車企業(yè)。經(jīng)過這一兩年的嘗試及探索，上汽集團(tuán)帆一尚行正式將列為產(chǎn)品線的重要產(chǎn)品，用以支撐整個(gè)容器平臺(tái)的運(yùn)行。最終在平臺(tái)應(yīng)用的層面，上汽集團(tuán)也選擇了進(jìn)行應(yīng)用于落地。

帆一尚行成立于2015年，是上汽集團(tuán)的全資子公司，建設(shè)有上海、南京、鄭州（在建）三個(gè)數(shù)據(jù)中心，擁有超過4000臺(tái)物理服務(wù)器，10PB的數(shù)據(jù)存儲(chǔ)，總面積將近9000平米。

帆一尚行主要為用戶提供彈性計(jì)算、存儲(chǔ)網(wǎng)絡(luò)、大數(shù)據(jù)、人工智能、安全等云產(chǎn)品及服務(wù)，并提供車聯(lián)網(wǎng)、物聯(lián)網(wǎng)、整車等行業(yè)解決方案。截至目前，已服務(wù)了上汽集團(tuán)集團(tuán)本部、上汽乘用車、上汽大通、吉安物流、賽客出行等40余家汽車企業(yè)。

2018年11月13日，由Rancher Labs、華為、CNCF聯(lián)合主辦的KubeCon + CloudNativeCon 的同場活動(dòng)——云原生服務(wù)網(wǎng)格（Istio）企業(yè)峰會(huì)在上海隆重舉行，上汽集團(tuán)帆一尚行業(yè)務(wù)發(fā)展部總經(jīng)理龔瀚申在峰會(huì)上進(jìn)行了主題演講，分享了上汽集團(tuán)如何在利用Kubernetes的強(qiáng)大能力的同時(shí)，降低系統(tǒng)的使用門檻，使得Kubernetes技術(shù)能夠多樣化的滿足不同技術(shù)水平用戶的使用需求，并且利用Kubernetes的強(qiáng)大能力支撐人工智能等新興業(yè)務(wù)。

發(fā)展背景

在上汽集團(tuán)帆一尚行業(yè)務(wù)發(fā)展部總經(jīng)理龔瀚申看來，汽車行業(yè)對(duì)互聯(lián)網(wǎng)轉(zhuǎn)型的需求主要集中在兩個(gè)方面，一方面是汽車行業(yè)對(duì)于互聯(lián)網(wǎng)云原生的需求，如車聯(lián)網(wǎng)共享出行等，這些互聯(lián)網(wǎng)業(yè)務(wù)帶動(dòng)了整個(gè)汽車行業(yè)的轉(zhuǎn)型，而這一類的生態(tài)大多源于云的系統(tǒng)架構(gòu)，屬于云原生的系統(tǒng)。另一方面則是來源于公司內(nèi)部的運(yùn)營需求，運(yùn)營方式無法實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)快速變革需求的及時(shí)響應(yīng)，重復(fù)的基礎(chǔ)建設(shè)、復(fù)雜的系統(tǒng)架構(gòu)以及封閉的業(yè)務(wù)系統(tǒng)，將會(huì)造成巨大的資源浪費(fèi)和高昂的企業(yè)運(yùn)營成本。

當(dāng)企業(yè)將業(yè)務(wù)部署到云端之后，這樣的情況便會(huì)得到相應(yīng)的改善，除了降低整體的IT投資成本之外，基于云計(jì)算互聯(lián)互通的優(yōu)勢，也能增加業(yè)務(wù)之間的數(shù)據(jù)交互。“從上汽集團(tuán)的戰(zhàn)略規(guī)劃層面出發(fā)，我們需要開發(fā)大量的具有行業(yè)特性的產(chǎn)品。”龔瀚申分析道：“在上云的過程當(dāng)中，云平臺(tái)不單是資源提供方的角色，最重要的是它將通用技術(shù)與通用業(yè)務(wù)功能產(chǎn)品化。這是上汽云平臺(tái)長期的一個(gè)發(fā)展方向。”

在明確上汽云平臺(tái)未來的發(fā)展方向之后，他們制定了一個(gè)總體的云平臺(tái)框架，將主要的任務(wù)集中放在兩大平臺(tái)進(jìn)行處理。其一是基礎(chǔ)服務(wù)平臺(tái)，以虛擬化和數(shù)據(jù)中心作為技術(shù)核心，將標(biāo)準(zhǔn)化的硬件以虛擬資源的方式提供給用戶，用戶在資源池內(nèi)按需計(jì)算。其二則是推出了平臺(tái)服務(wù)，容器加上調(diào)度系統(tǒng)將構(gòu)成平臺(tái)服務(wù)的運(yùn)行基礎(chǔ)，當(dāng)平臺(tái)服務(wù)往業(yè)務(wù)層靠攏，將抽象出業(yè)務(wù)中臺(tái)，當(dāng)平臺(tái)服務(wù)往技術(shù)層靠攏，將抽象出技術(shù)中臺(tái)。不管是技術(shù)中臺(tái)還是業(yè)務(wù)中臺(tái)，運(yùn)行基礎(chǔ)都是由虛擬化和容器來提供的。所以在云數(shù)據(jù)中心，容器已經(jīng)顯然成為上汽集團(tuán)帆一尚行的一個(gè)核心技術(shù)，它不僅是一個(gè)輕量級(jí)的PaaS，也是IaaS平臺(tái)更小顆粒的虛擬化，為整個(gè)平臺(tái)提供運(yùn)行基礎(chǔ)。

實(shí)踐歷程

從時(shí)間線上來看，上汽集團(tuán)在容器技術(shù)的探索和實(shí)踐與容器技術(shù)的整體發(fā)展息息相關(guān)。

2015年，上汽集團(tuán)帆一尚行的開發(fā)團(tuán)隊(duì)使用Docker跑了一些簡單的網(wǎng)站應(yīng)用，開發(fā)人員在筆記本上運(yùn)行一些簡單的代碼，通過容器打包推送到帆一尚行的虛擬環(huán)境里面，在秒級(jí)的響應(yīng)時(shí)間內(nèi)便可以啟動(dòng)打包的應(yīng)用。“我們將Docker和OpenStack進(jìn)行了對(duì)比，也在內(nèi)部進(jìn)行了容器是否會(huì)取代OpenStack的議題討論。”龔瀚申回憶：“由于容器成熟度以及用戶成熟度的問題，我們認(rèn)為短期內(nèi)容器還無法取代OpenStack，但基于這次嘗試，我們感受到了容器在資源利用率和環(huán)境一致性上的優(yōu)勢。”

2016年，上汽集團(tuán)帆一尚行在Docker以及編排系統(tǒng)上投入了更多的精力，開發(fā)團(tuán)隊(duì)調(diào)研了市面上Rancher、Mesos+Marathon、Kubernetes以及Docker+Swarm等系統(tǒng)，不同的系統(tǒng)在系統(tǒng)成熟度以及部署難易程度上存在一定的差別，最終選擇了Docker+Swarm去搭建企業(yè)的集群，并開始了利用小規(guī)模集群支撐整體營銷活動(dòng)的實(shí)踐及推廣。

到了2017年，隨著Kubernetes的呼聲和熱度越來越高，產(chǎn)品也日趨成熟。上汽集團(tuán)帆一尚行開發(fā)團(tuán)隊(duì)在內(nèi)部小范圍構(gòu)建了Kubernetes的小型集群，將其應(yīng)用于整個(gè)GPU資源平臺(tái)的調(diào)度。經(jīng)過這一兩年的嘗試及探索，上汽集團(tuán)帆一尚行正式將Kubernetes列為產(chǎn)品線的重要產(chǎn)品，用以支撐整個(gè)容器平臺(tái)的運(yùn)行。

“在建設(shè)Kubernetes平臺(tái)的初期，我們從多個(gè)維度設(shè)定了容器平臺(tái)的目標(biāo)。”龔瀚申分享道：“從部署的維度出發(fā)，它必須支持多跨數(shù)據(jù)中心的部署，必須支持主流公有云和私有云平臺(tái)的部署；從資源調(diào)度編排的角度出發(fā)，它必須支持主流的CPU調(diào)度，必須以開放標(biāo)準(zhǔn)的形式提供存儲(chǔ)與網(wǎng)絡(luò)的對(duì)接；從租戶管理的角度出發(fā)，它必須可以提供多租戶的資源配額，讓租戶在自己的配額里面可以調(diào)度資源以及鏡像倉庫；從整體運(yùn)營管理的角度出發(fā)，它必須提供一個(gè)統(tǒng)一對(duì)接Kubernetes集群管理的平臺(tái)，必須能對(duì)Kubernetes集群進(jìn)行靈活增減，以及能實(shí)現(xiàn)簡單的監(jiān)控功能。”

通過一系列的探索與實(shí)踐，上汽集團(tuán)最終落地了最符合自身需求的容器技術(shù)選型：基于物理服務(wù)器構(gòu)建基礎(chǔ)設(shè)施，利用自研基于Ansible的Kubernetes進(jìn)行整個(gè)集群的自動(dòng)化部署；通過Rancher來實(shí)現(xiàn)平臺(tái)的統(tǒng)一管控，對(duì)接統(tǒng)一認(rèn)證系統(tǒng)，實(shí)現(xiàn)應(yīng)用部署管理、多租戶、配額管理等高級(jí)功能；在網(wǎng)絡(luò)的層面上，選擇利用Calico BGP網(wǎng)絡(luò)+外部L4L/7的負(fù)載均衡來實(shí)現(xiàn)多種應(yīng)用的發(fā)布形式；存儲(chǔ)則是沿用了Swarm里面的Nexenta以及PortWorx來打造分布式存儲(chǔ)方案；最后，上汽集團(tuán)還基于Prometheus進(jìn)行平臺(tái)監(jiān)控和外部統(tǒng)一監(jiān)控告警。

Kubernetes集群與上汽集團(tuán)帆一尚行的用戶界面是集成的，用戶可以通過登錄Saicmotor的門戶網(wǎng)站直接使用上汽集團(tuán)帆一尚行的Kubernetes集群，或者是通過上汽集團(tuán)帆一尚行周邊的云平臺(tái)產(chǎn)品如應(yīng)用開發(fā)日志、日志管理等來進(jìn)行對(duì)Kubernetes集群進(jìn)行管控。而上汽集團(tuán)帆一尚行的運(yùn)維人員則是通過Rancher的管理界面來管理底層的Kubernetes集群。

“關(guān)于Kubernetes應(yīng)該怎樣以產(chǎn)品的方式提供給用戶，我們也進(jìn)行了一些場景化的思考。有人會(huì)將Kubernetes當(dāng)作是數(shù)據(jù)中心的管控系統(tǒng)，有人會(huì)將它作為是任務(wù)調(diào)度的管理系統(tǒng)，還會(huì)有人將Kubernetes當(dāng)作是微服務(wù)的一個(gè)治理框架，在不同的而場景下，大家對(duì)Kubernetes的定義是不一樣的。”龔瀚申分析：“這一切就是源于Kubernetes它開放的多維度框架設(shè)計(jì)理念以及簡單易用的產(chǎn)品特性，所以我們將它理解為一個(gè)可擴(kuò)展、可組合的調(diào)度系統(tǒng)框架。”

針對(duì)Kubernetes的產(chǎn)品特性和用戶對(duì)Kubernetes的熟悉程度，上汽集團(tuán)帆一尚行設(shè)計(jì)了兩類產(chǎn)品形態(tài)。一類產(chǎn)品形態(tài)針對(duì)初級(jí)用戶，將Kubernetes封裝起來，以另外一種形式為用戶提供服務(wù)，用戶更多體驗(yàn)到的是以容器技術(shù)為主的應(yīng)用部署和發(fā)布能力。另一類則針對(duì)高級(jí)用戶開放，用戶可以獨(dú)享一個(gè)Kubernetes集群，并且通過一鍵部署來快速實(shí)現(xiàn)，可以充分體驗(yàn)Kubernetes的特性。

AI應(yīng)用

在內(nèi)部的項(xiàng)目落地之后，上汽集團(tuán)為了實(shí)現(xiàn)對(duì)L4自動(dòng)駕駛產(chǎn)業(yè)化軟件的開發(fā)以及復(fù)雜場景下自動(dòng)駕駛功能的建設(shè)需求，他們對(duì)容器平臺(tái)提出了更高的要求。

“平臺(tái)必須提供完整的AI軟件開發(fā)流程管理體系，包括數(shù)據(jù)管理、模型管理、仿真測試、模型壓縮等系統(tǒng)功能，和車端行程從訓(xùn)練到推理的AI軟件開發(fā)閉環(huán)。”龔瀚申將這一目標(biāo)歸結(jié)為兩大需求，一是AI訓(xùn)練服務(wù)，將專注于數(shù)據(jù)標(biāo)注、數(shù)據(jù)存儲(chǔ)、CPU訓(xùn)練以及分布式訓(xùn)練；二是AI模型，包含訓(xùn)練服務(wù)、托管發(fā)布和模型的版本管理。

同時(shí)，這一平臺(tái)將定義為集團(tuán)層面的公共訓(xùn)練服務(wù)平臺(tái)，不僅服務(wù)于上汽集團(tuán)智能駕駛的部門，還將為集團(tuán)下屬的整車物流零部件等企業(yè)提供AI訓(xùn)練服務(wù)。那么，對(duì)于這一平臺(tái)來說，任務(wù)調(diào)度功能以及租戶隔離功能都是不可或缺的。

上汽集團(tuán)帆一尚行開發(fā)團(tuán)隊(duì)在進(jìn)行技術(shù)選型的時(shí)候，發(fā)現(xiàn)Kubernetes能完美地實(shí)現(xiàn)資源層的調(diào)度和服務(wù)層的任務(wù)調(diào)度功能，也能對(duì)租戶的GPU資源和網(wǎng)絡(luò)存儲(chǔ)資源進(jìn)行很好的隔離。最終在AI平臺(tái)應(yīng)用的層面，上汽集團(tuán)也選擇了Kubernetes進(jìn)行應(yīng)用于落地。

那么，整個(gè)AI平臺(tái)是怎么進(jìn)行業(yè)務(wù)實(shí)現(xiàn)的呢？從橫向的角度來看，上汽集團(tuán)的AI平臺(tái)客戶分為三個(gè)層面，一是人力層面，二是算力層面，三是數(shù)據(jù)層面。數(shù)據(jù)層面將產(chǎn)生大量的數(shù)據(jù)，如行車交通標(biāo)志、雨天產(chǎn)生的大量視頻和圖像，以及一些信號(hào)數(shù)據(jù)，這些數(shù)據(jù)將被收集起來，送到算力平臺(tái)上，最終由上汽集團(tuán)帆一尚行的人力分工對(duì)這些數(shù)據(jù)進(jìn)行處理和訓(xùn)練，最終產(chǎn)出一個(gè)算法。從縱向的角度來看，平臺(tái)的人力團(tuán)隊(duì)被劃分為三類，一是標(biāo)注團(tuán)隊(duì)，主要負(fù)責(zé)模型服務(wù)；二是算法團(tuán)隊(duì)，三是運(yùn)營團(tuán)隊(duì)，起到協(xié)調(diào)的作用。

當(dāng)帆一尚行的開發(fā)團(tuán)隊(duì)和業(yè)務(wù)進(jìn)行溝通之后，抽象出了AI平臺(tái)的系統(tǒng)邏輯框架，第一層為基礎(chǔ)層面，由Kubernetes和存儲(chǔ)構(gòu)成；第二層為Service層面，包括需要調(diào)度的算法和需要進(jìn)行的數(shù)據(jù)處理；還有一個(gè)層面就是前臺(tái)的服務(wù)層，包括數(shù)據(jù)管控的流程、任務(wù)發(fā)布等。當(dāng)Kubernetes接到調(diào)度之后，將去Service的層面去調(diào)度Service模塊，然后Kubernetes再把GPU資源、存儲(chǔ)資源分配給Service模塊，Service模塊進(jìn)行統(tǒng)一的訓(xùn)練和計(jì)算，最終把結(jié)果返回到前臺(tái)的用戶。

“所有這些調(diào)度的服務(wù)層的任務(wù)全部都是以鏡像的形式存儲(chǔ)在Kubernetes的鏡像倉庫里面，Kubernetes在整套系統(tǒng)里面起到的是多任務(wù)控制的調(diào)度以及資源調(diào)度的作用。所以這個(gè)核心實(shí)際上是有底層的Kubernetes實(shí)現(xiàn)的。”龔瀚申補(bǔ)充道：“我們團(tuán)隊(duì)會(huì)根據(jù)算法團(tuán)隊(duì)打包他們的算力，把它存儲(chǔ)在鏡像倉庫里面，由他們自主地通過前端的前臺(tái)來自主地發(fā)起任務(wù)訓(xùn)練。這就是Kubernetes在上汽集團(tuán)AI平臺(tái)的應(yīng)用。”