摘要：云計算系統(tǒng)中的數(shù)據(jù)管理技術主要是的數(shù)據(jù)管理技術和團隊開發(fā)的開源數(shù)據(jù)管理模塊。五典型云計算平臺介紹由于云計算技術范圍很廣，目前各大企業(yè)提供的云計算服務主要根據(jù)自身的特點和優(yōu)勢實現(xiàn)的。藍云平臺的一個重要特點是虛擬化技術的使用。

(3) 海量數(shù)據(jù)管理技術

云計算需要對分布的、海量的數(shù)據(jù)進行處理、分析，因此，數(shù)據(jù)管理技術必需能夠高效的管理大量的數(shù)據(jù)。云計算系統(tǒng)中的數(shù)據(jù)管理技術主要是Google的BT(BigTable)數(shù)據(jù)管理技術和Hadoop團隊開發(fā)的開源數(shù)據(jù)管理模塊HBase。

BT是建立在GFS, Scheduler, Lock Service和MapReduce之上的一個大型的分布式數(shù)據(jù)庫，與傳統(tǒng)的關系數(shù)據(jù)庫不同，它把所有數(shù)據(jù)都作為對象來處理，形成一個巨大的表格，用來分布存儲大規(guī)模結構化數(shù)據(jù)。

Google的很多項目使用BT來存儲數(shù)據(jù)，包括網(wǎng)頁查詢，Google earth和Google金融。這些應用程序對BT的要求各不相同：數(shù)據(jù)大小(從URL到網(wǎng)頁到衛(wèi)星圖象)不同，反應速度不同(從后端的大批處理到實時數(shù)據(jù)服務)。對于不同的要求，BT都成功的提供了靈活高效的服務。

(4)虛擬化技術

通過虛擬化技術可實現(xiàn)軟件應用與底層硬件相隔離，它包括將單個資源劃分成多個虛擬資源的裂分模式，也包括將多個資源整合成一個虛擬資源的聚合模式。虛擬化技術根據(jù)對象可分成存儲虛擬化、計算虛擬化、網(wǎng)絡虛擬化等，計算虛擬化又分為系統(tǒng)級虛擬化、應用級虛擬化和桌面虛擬化。

(5)云計算平臺管理技術

云計算資源規(guī)模龐大，服務器數(shù)量眾多并分布在不同的地點，同時運行著數(shù)百種應用，如何有效的管理這些服務器，保證整個系統(tǒng)提供不間斷的服務是巨大的挑戰(zhàn)。

云計算系統(tǒng)的平臺管理技術能夠使大量的服務器協(xié)同工作，方便的進行業(yè)務部署和開通，快速發(fā)現(xiàn)和恢復系統(tǒng)故障，通過自動化、智能化的手段實現(xiàn)大規(guī)模系統(tǒng)的可靠運營。

五、典型云計算平臺介紹

由于云計算技術范圍很廣，目前各大IT企業(yè)提供的云計算服務主要根據(jù)自身的特點和優(yōu)勢實現(xiàn)的。下面以Google、IBM、Amazon為例說明：

(1)Google 的云計算平臺

Google的硬件條件優(yōu)勢，大型的數(shù)據(jù)中心、搜索引擎的支柱應用，促進Google云計算迅速發(fā)展。Google的云計算主要由MapReduce、Google文件系統(tǒng)(GFS)、BigTable組成。它們是Google內部云計算基礎平臺的3個主要部分。Google 還構建其他云計算組件，包括一個領域描述語言以及分布式鎖服務機制等。Sawzall是一種建立在MapReduce基礎上的領域語言，專門用于大規(guī)模的信息處理。Chubby是一個高可用、分布式數(shù)據(jù)鎖服務，當有機器失效時，Chubby使用Paxos算法來保證備份。

(2)IBM“藍云”計算平臺

“藍云”解決方案是由IBM云計算中心開發(fā)的企業(yè)級云計算解決方案。該解決方案可以對企業(yè)現(xiàn)有的基礎架構進行整合，通過虛擬化技術和自動化技術，構建企業(yè)自己擁有的云計算中心，實現(xiàn)企業(yè)硬件資源和軟件資源的統(tǒng)一管理、統(tǒng)一分配、統(tǒng)一部署、統(tǒng)一監(jiān)控和統(tǒng)一備份，打破應用對資源的獨占，從而幫助企業(yè)實現(xiàn)云計算理念。

IBM 的“藍云”計算平臺是一套軟、硬件平臺，將Internet上使用的技術擴展到企業(yè)平臺上，使得數(shù)據(jù)中心使用類似于互聯(lián)網(wǎng)的計算環(huán)境。“藍云”大量使用了IBM先進的大規(guī)模計算技術，結合了IBM自身的軟、硬件系統(tǒng)以及服務技術，支持開放標準與開放源代碼軟件。

“藍云”基于IBM Almaden研究中心的云基礎架構，采用了Xen和PowerVM虛擬化軟件，Linux操作系統(tǒng)映像以及Hadoop軟件(Google File System以及MapReduce的開源實現(xiàn))。IBM已經(jīng)正式推出了基于x86芯片服務器系統(tǒng)的“藍云”產品。下圖為IBM “藍云”的架構：

由圖可知，“藍云”計算平臺由一個數(shù)據(jù)中心、IBM Tivoli部署管理軟件(Tivoli provisioning manager)、IBM Tivoli監(jiān)控軟件(IBM Tivoli monitoring)、IBM WebSphere應用服務器、IBM DB2數(shù)據(jù)庫以及一些開源信息處理軟件和開源虛擬化軟件共同組成。“藍云”的硬件平臺環(huán)境與一般的x86服務器集群類似，使用刀片的方式增加了計算密度。“藍云”軟件平臺的特點主要體現(xiàn)在虛擬機以及對于大規(guī)模數(shù)據(jù)處理軟件Apache Hadoop的使用上。

“藍云”平臺的一個重要特點是虛擬化技術的使用。虛擬化的方式在“藍云”中有兩個級別，一個是在硬件級別上實現(xiàn)虛擬化，另一個是通過開源軟件實現(xiàn)虛擬化。硬件級別的虛擬化可以使用IBM p系列的服務器，獲得硬件的邏輯分區(qū)LPAR(logic partition)。邏輯分區(qū)的CPU資源能夠通過IBM Enterprise Workload Manager來管理。通過這樣的方式加上在實際使用過程中的資源分配策略，能夠使相應的資源合理地分配到各個邏輯分區(qū)。p系列系統(tǒng)的邏輯分區(qū)最小粒度是1/10顆CPU。Xen則是軟件級別上的虛擬化，能夠在Linux基礎上運行另外一個操作系統(tǒng)。

虛擬機是一類特殊的軟件，能夠完全模擬硬件的執(zhí)行，運行不經(jīng)修改的完整的操作系統(tǒng)，保留了一整套運行環(huán)境語義。通過虛擬機的方式，在云計算平臺上獲得如下一些優(yōu)點 ：

1)云計算的管理平臺能夠動態(tài)地將計算平臺定位到所需要的物理節(jié)點上， 而無須停止運行在虛擬機平臺上的應用程序，進程遷移方法更加靈活；

2)降低集群電能消耗，將多個負載不是很重的虛擬機計算節(jié)點合并到同一個物理節(jié)點上，從而能夠關閉空閑的物理節(jié)點，達到節(jié)約電能的目的；

3)通過虛擬機在不同物理節(jié)點上的動態(tài)遷移，遷移了整體的虛擬運行環(huán)境，能夠獲得與應用無關的負載平衡性能；

4)在部署上也更加靈活，即可以將虛擬機直接部署到物理計算平臺上，而虛擬機本身就包括了相應的操作系統(tǒng)以及相應的應用軟件，直接將大量的虛擬機映像復制到對應的物理節(jié)點即可。

“藍云”計算平臺中的存儲體系結構：“藍云”計算平臺中的存儲體系結構對于云計算來說也是非常重要的，無論是操作系統(tǒng)、服務程序還是用戶的應用程序的數(shù)據(jù)都保存在存儲體系中。“藍云”存儲體系結構包含類似于Google File System 的集群文件系統(tǒng)以及基于塊設備方式的存儲區(qū)域網(wǎng)絡SAN。

在設計云計算平臺的存儲體系結構時，可以通過組合多個磁盤獲得很大的磁盤容量。相對于磁盤的容量，在云計算平臺的存儲中，磁盤數(shù)據(jù)的讀寫速度是一個更重要的問題，因此需要對多個磁盤進行同時讀寫。這種方式要求將數(shù)據(jù)分配到多個節(jié)點的多個磁盤當中。為達到這一目的，存儲技術有兩個選擇，一個是使用類似于Google File System的集群文件系統(tǒng)，另一個是基于塊設備的存儲區(qū)域網(wǎng)絡SAN系統(tǒng)。

在藍云計算平臺上，SAN 系統(tǒng)與分布式文件系統(tǒng)(例如Google File System)并不是相互對立的系統(tǒng)，SAN提供的是塊設備接口，需要在此基礎上構建文件系統(tǒng)，才能被上層應用程序所使用。而Google File System正好是一個分布式的文件系統(tǒng)，能夠建立在SAN之上。兩者都能提供可靠性、可擴展性，至于如何使用還需要由建立在云計算平臺上的應用程序來決定，這也體現(xiàn)了計算平臺與上層應用相互協(xié)作的關系。

(3)Amazon的彈性計算云

Amazon是互聯(lián)網(wǎng)上最大的在線零售商，為了應付交易高峰，不得不購買了大量的服務器。而在大多數(shù)時間，大部分服務器閑置，造成了很大的浪費，為了合理利用空閑服務器，Amazon建立了自己的云計算平臺彈性計算云EC2(elastic compute cloud)，并且是第一家將基礎設施作為服務出售的公司。

Amazon將自己的彈性計算云建立在公司內部的大規(guī)模集群計算的平臺上，而用戶可以通過彈性計算云的網(wǎng)絡界面去操作在云計算平臺上運行的各個實例(instance)。用戶使用實例的付費方式由用戶的使用狀況決定，即用戶只需為自己所使用的計算平臺實例付費，運行結束后計費也隨之結束。這里所說的實例即是由用戶控制的完整的虛擬機運行實例。通過這種方式，用戶不必自己去建立云計算平臺，節(jié)省了設備與維護費用。

上圖為EC2系統(tǒng)的使用模式。從圖中可以看出，彈性計算云用戶使用客戶端通過SOAP over HTTPS協(xié)議與Amazon彈性計算云內部的實例進行交互。這樣，彈性計算云平臺為用戶或者開發(fā)人員提供了一個虛擬的集群環(huán)境，在用戶具有充分靈活性的同時，也減輕了云計算平臺擁有者(Amazon公司)的管理負擔。彈性計算云中的每一個實例代表一個運行中的虛擬機。用戶對自己的虛擬機具有完整的訪問權限，包括針對此虛擬機操作系統(tǒng)的管理員權限。虛擬機的收費也是根據(jù)虛擬機的能力進行費用計算的，實際上，用戶租用的是虛擬的計算能力。

總而言之，Amazon通過提供彈性計算云，滿足了小規(guī)模軟件開發(fā)人員對集群系統(tǒng)的需求，減小了維護負擔。其收費方式相對簡單明了：用戶使用多少資源，只需為這一部分資源付費即可。

為了彈性計算云的進一步發(fā)展，Amazon規(guī)劃了如何在云計算平臺基礎上幫助用戶開發(fā)網(wǎng)絡化的應用程序。除了網(wǎng)絡零售業(yè)務以外，云計算也是Amazon公司的核心價值所在。Amazon將來會在彈性計算云的平臺基礎上添加更多的網(wǎng)絡服務組件模塊，為用戶構建云計算應用提供方便。

六、云計算技術發(fā)展面臨的主要問題

盡管云計算模式具有許多優(yōu)點，但是也存在的一些問題，如數(shù)據(jù)隱私問題、安全問題、軟件許可證問題、網(wǎng)絡傳輸問題等。

· 數(shù)據(jù)隱私問題：如何保證存放在云服務提供商的數(shù)據(jù)隱私，不被非法利用，不僅需要技術的改進，也需要法律的進一步完善。

· 數(shù)據(jù)安全性：有些數(shù)據(jù)是企業(yè)的商業(yè)機密，數(shù)據(jù)的安全性關系到企業(yè)的生存和發(fā)展。云計算數(shù)據(jù)的安全性問題解決不了會影響云計算在企業(yè)中的應用。

· 用戶使用習慣：如何改變用戶的使用習慣，使用戶適應網(wǎng)絡化的軟硬件應用是長期而艱巨的挑戰(zhàn)。

· 網(wǎng)絡傳輸問題：云計算服務依賴網(wǎng)絡，目前網(wǎng)速低且不穩(wěn)定，使云應用的性能不高。云計算的普及依賴網(wǎng)絡技術的發(fā)展。