摘要：平安云誕生于平安集團的科技大本營，多年的金融經驗積累使得平安云對金融行業架構規范，金融業務系統流量特征及安全合規性等均有獨到的見解。

平安云誕生于平安集團的科技大本營，多年的金融IT經驗積累使得平安云對金融行業架構規范，金融業務系統流量特征及安全合規性等均有獨到的見解。從13年底立項以來，平安金融云一直盡可能走開源和自研結合的路線，自主研發了IaaS層的全套產品線，為金融行業客戶提供可靠、彈性、高效、集約的基礎架構層服務。

目前金融云平臺已涵蓋平安集團90% 以上的業務公司，支撐60% 的業務系統投產，并延伸至外部直銷銀行及金融機構，承載過億的互聯網金融用戶。平安金融云將持續推動集團3.0“大金融資產+ 大醫療健康”戰略更快發展，打造金融平臺業務，占領數據、生態陣地，為集團互聯網、業務云、生態圈的爆發式增長保駕護航。在“2016年金融信息化10件大事”評選中，平安云排名12，在參選的金融云平臺里排名第一。

所有的云服務中，都會涉及到三項臺柱技術領域：計算、存儲、網絡。本文將介紹平安云構建過程中在這三大技術所做的實踐，希望對嘗試搭建云服務的讀者有借鑒意義。

圖1 平安云平臺級總體架構

如圖1，平安云后臺實現計算、存儲、網絡的資源管理、以及對用戶的交付服務。

計算服務

當下的計算機領域呈現出人云亦云的現象，但最出名的還是以AWS、Azure、阿里云為代表的云計算服務，這說明計算是云里面最重要的服務，從3A的營收占比來看，也的確是這么回事。

以AWS為例，最初負責主機運維的工作人員出于提高資源利用率和額外創收考慮，提議將每年為黑色星期五準備的大規模資源在平日時間段以計算服務的形式出售，由此，云以計算服務開的頭。

平安云在構建過程中實際上也是重復了這一過程，計算云化技術的決策選型是創始團隊要攻克的第一關，而絕則取決于現實：一方面要支持日益持重的KVM虛擬化，另一方面需兼容過去已大量投產的VMware虛擬化。這兩個目標具備很高的實線價值——即支持業務無感知從傳統VMware環境切換到云管理的VMware，又使得一些創新的互聯網應用在沒有包袱的背景下自由使用KVM。

基于以上考慮，我們主要調研了OpenStack與CloudStack，其余的方案實現功能相似，社區熱度相差太大而不予考慮。最終我們出于以下因素選擇了CloudStack。

成熟度：決策期間，當時OpenStack剛開始發展，雖然社區火熱但成熟度較低，難以滿足早日平臺搭建落地的現實目標；CloudStack曾是cloud.com的商用版本，成熟度相對較好，并且已有多個成熟的客戶案例可借鑒；

普及性：金融系統內業務系統通常以Java為開發語言，CloudStack上手容易

企業特性：CloudStack內部架構邏輯更符合企業應用系統設計，相對于分布式組件化的OpenStack，部署CloudStack的方式更適合當時的平安集團IT特性；

技術局限性：團隊成員熟悉計算和存儲，網絡方面的需求沒有考慮太深

CloudStack的架構比較小巧緊湊，容易部署，但也有不盡人意的方面，其缺點主要在于對網絡功能的支持不夠豐富、靈活。這里我們有獨特的做法：CloudStack相當于完成OpenStack Nova的功能，只用來進行計算虛擬化資源管理。為了達到對網絡功能的支持效果，我們對CloudStack做了二次開發，增加了一個和OpenStack Neutron對接的Plugin，使Neutron能夠感知到虛擬機的生命周期。

圖2 計算服務CloudStack架構圖

如圖2，CloudStack的Network功能被極度的弱化，工作主要是管理計算所需的IP資源、VLAN等，編排物理網絡的工作交給了Neutron。

存儲服務

存儲和計算不分家，平安云存儲服務根據技術和場景的演變解決方案也變得豐富多樣：

本地盤和高性能本地盤：提供高IO，同時縮小存儲故障域；

SAN和NAS：傳統方案，支持計算HA；

本地盤高可用和VSAN等超融合方案：本地盤方案的升級，在高IO同時提供HA；

Ceph提供塊存儲和對象存儲：塊存儲作為SAN和NAS的替代方案，對象存儲可以提供用戶數據備份服務。

?

圖3 塊存儲服務架構圖

如圖3，塊存儲服務的交付實際上是比較簡單的，通過CloudStack對接到每個Hypervisor的CS-Agent或者vCenter，將VM的磁盤IO和后端的Ceph、NAS、本地盤、SAN等存儲資源池掛接。存儲資源池配給通常比較充足，資源監控和管理通過額外的運維系統完成。

圖4 使用Ceph提供塊、文件、對象存儲服務

Ceph是目前最流行的軟件定義存儲的開源解決方案，在云環境的存儲服務中提供了非常好的可定制性和可擴展性。作為統一存儲，Ceph在最底層原生的RADOS對象存儲的基礎上通過模塊化的方式分別提供的塊存儲（RBD）, 對象存儲（RGW）和文件存儲（CephFS）。為了把原生的開源Ceph存儲應用到不同的業務場景，我們在性能優化和部署，配置，故障修復方面做了大量的研究和實踐?；贑eph開源社區良好的發展趨勢，Ceph將會是一個很好的兼顧性能、成本、擴展性的云存儲解決方案。

網絡服務

相對于計算與存儲，網絡是一門多帶帶的領域。通常懂計算的都會了解一些存儲，懂存儲的也會知道一些計算，但是都會對網絡感到陌生，原因也很簡單，計算中數據落地涉及到存儲，存儲也有Server Storage，操作對象基本上是PC Server、Linux，而網絡人員操作對象則是各種廠家的Switch、Firewall、Router和LB，操作對象不同，且都是非常成熟的領域，因此知識、技能很難與計算、存儲融合。

網絡在云中最核心的作用有2個：

提供計算和存儲互聯的高速公路，這個是物理網絡實現的功能，不管是云還是傳統基礎架構，網絡都實現了這些需求；

提供租戶的虛擬網絡，通常是在物理網絡中通過虛擬化實現的，這是云獨有的需求，在網絡界術語中，在物理網絡中為每個租戶提供虛擬網絡的技術稱為網絡虛擬化（Network Virtualization）簡稱NV，是當今網絡界最熱的要點，不同云服務商的NV方案大相徑庭。

大多數熟知的云都會最初把NV做到Linux內部，而不會交給專門的網絡去實現，這也是對上述理論的驗證。NV在云計算發展過程中，也是更為緩慢的，但可以看到各大公有云都在使用SDN和NFV來補齊這部分短板。平安云的起步較晚，可以利用后發優勢，從一開始就考慮物理網絡上實現NV，原因比較簡單，物理網絡設備是連接大量服務器的專用設備，物理網絡設備供應商不會對NV視而不見，截止至今日，物理網絡設備NV技術已經相對成熟，將NV從主機剝離出來，也有利于降低主機技術集成復雜度，提升運維效率，平安云網絡的優勢主要是通過對方案的主導性對物理網絡設備廠家研發力量進行整合，而不是一味在主機上單干。

圖5 平安云網絡服務模型

平安云把網絡虛擬化分為Fabric服務、NF（網絡功能）、增值服務3部分：

Fabric，實現虛擬網絡中的租戶Switch和Router功能，網絡人士稱之為L2和L3功能，租戶可以在Fabric服務中管理子網、租戶路由表等功能，從而實現Fabric內租戶計算節點實現互訪，控制邊界路由等功能，該服務在網絡中屬于低頻操作類，租戶只有在創建時需要關心，因此這部分也是租戶比較陌生的；

NF，實現虛擬網絡的租戶VPN、訪問控制、NAT和LB 等功能，對應網絡人士熟知的L3、L4和L7功能，這些服務在網絡中屬于中高頻操作類，租戶比較熟悉；

增值服務，比如CDN、大流量高防、域名管理、互聯網流量分析、互聯網質量探測、安全專線等，這些服務涵蓋低中高頻類，租戶比較熟悉。?

為了讓這三項服務能夠高效、科學地編排，平安云使用了可擴展性強的Neutron，并依托Neutron構建了統一編排平臺Network Service Platform（NSP），同時對Fabric、NF和增值服務進行管理。

?

圖6 基于Neutron的NSP平臺架構

NSP平臺可以將來自不同廠家的網絡設備、第三方網絡服務都通過容易擴展的Service Plugin來對接，而核心NSP維護的是抽象網絡服務數據，編排對接Portal和CloudStack都使用這一層抽象的網絡模型。

總結

除了網絡之外，計算和存儲都依托比較成熟的方案搭建，平安云收獲最寶貴的是架構治理和業務入云的經驗，這種務實的戰略是平安云能夠在過去2年中迅速成長的關鍵?！凹軜嬜灾?、但不做大的修改，以用為先”，對于很多企業來說，也是可以借鑒的。

網絡比較特殊，在很多云計算團隊中，網絡都是一個比較邊緣化的領域，因為日常面對的硬件和服務器實在是過于不同，Neutron作為計算領域的專家提出的模型，并不一定是真實網絡的抽象，各個網絡設備供應商在面對OpenStack浪潮中，更多地是遵從Neutron，而并沒有發展Neutron，有幸平安云在項目早期就很重視網絡服務，得以組建開發團隊基于Neutron做了很多務實的拓展。使NSP能夠在不到1年的時間就能夠完成開發并且上線。

作者簡介：丘子雋，云平臺事業部云網絡服務組

軟件開發技術群

興趣范圍包括：Java，C/C++，Python，PHP，Ruby，shell等各種語言開發經驗交流，各種框架使用，外包項目機會，學習、培訓、跳槽等交流

QQ群：26931708

Hadoop源代碼研究群

興趣范圍包括：Hadoop源代碼解讀，改進，優化，分布式系統場景定制，與Hadoop有關的各種開源項目，總之就是玩轉Hadoop

QQ群：288410967?