云計(jì)算對(duì)陣高性能計(jì)算：誰(shuí)更具競(jìng)爭(zhēng)力?

iliyaku 發(fā)布于2019-04-25 17:42 / 1518人閱讀

摘要：云計(jì)算對(duì)陣高性能計(jì)算誰(shuí)更具競(jìng)爭(zhēng)力微軟雅黑宋體考慮到這一點(diǎn)，將整體成本準(zhǔn)確拆分為每小時(shí)運(yùn)營(yíng)開(kāi)支確實(shí)有些難度，特別是考慮到多數(shù)情況下我們往往只能基于不同硬件多帶帶進(jìn)行計(jì)算。

最近一段時(shí)間以來(lái)，高性能計(jì)算集群方案到底應(yīng)該自主構(gòu)建還是直接購(gòu)買(mǎi)的爭(zhēng)論可謂如火如荼，其部分原因在于原本屬于市場(chǎng)空白的性能與軟件生態(tài)系統(tǒng)關(guān)鍵性組成部分如今已經(jīng)逐漸落實(shí)到位。

經(jīng)過(guò)數(shù)年的發(fā)展演變，如今高性能計(jì)算在云環(huán)境下的可行性終于得到了一定程度的肯定——至少針對(duì)一部分應(yīng)用程序是如此。在大型云服務(wù)供應(yīng)商已經(jīng)利用更為強(qiáng)大的網(wǎng)絡(luò)與處理器方案向高性能計(jì)算作出了試探性延伸的同時(shí)，以Rescale公司為代表的其它廠商也開(kāi)始通過(guò)自己的許可模式幫助獨(dú)立軟件開(kāi)發(fā)商接觸高性能計(jì)算代碼，進(jìn)而揭開(kāi)長(zhǎng)久以來(lái)蒙住高性能計(jì)算軟件的這層神秘面紗。不過(guò)需要強(qiáng)調(diào)的是，目前將高性能計(jì)算負(fù)載運(yùn)行在云環(huán)境當(dāng)中仍然存在著諸多難題，到底該將哪些負(fù)載交給內(nèi)部高性能計(jì)算集群打理，同時(shí)把另一些可能存在突發(fā)性資源需求增長(zhǎng)的負(fù)載交由云基礎(chǔ)設(shè)施負(fù)責(zé)，從而充分利用雙方的固有優(yōu)勢(shì)仍然很難找到確切答案。

根據(jù)The Platform網(wǎng)站最近發(fā)布的一篇文章，我們可以看到在高性能計(jì)算領(lǐng)域，整體設(shè)施的構(gòu)建、采購(gòu)以及機(jī)房共置等任務(wù)確實(shí)難于完成。為了能夠更透徹地理解這兩種觀點(diǎn)的思維方式，我們采用了Rescale方面提供的一些數(shù)字——這是一家高性能計(jì)算云服務(wù)供應(yīng)商(如前所述，主要負(fù)責(zé)將軟件與高性能計(jì)算獨(dú)立軟件開(kāi)發(fā)商相對(duì)接方面的工作)。

下面提到的各項(xiàng)數(shù)字來(lái)自Rescale公司對(duì)于內(nèi)部高性能計(jì)算集群與租賃云供應(yīng)商容量及許可所進(jìn)行的一次成本比較。這些數(shù)字體現(xiàn)了一臺(tái)典型的中端集群在處理高性能計(jì)算工作負(fù)載時(shí)所帶來(lái)的使用成本——注意，這里并沒(méi)有考慮任何高端處理器或者加速方案。在一篇探討高性能計(jì)算云服務(wù)使用成本的文章中，Rescale公司CEO Joris Poort解釋稱(chēng)，這主要是為了體現(xiàn)最終用戶(hù)的中位成本水平——一部分需要高到極致的性能表現(xiàn)，另一些則更關(guān)注成本因素，因此這些數(shù)字僅作為基準(zhǔn)參考。當(dāng)然，一旦新型Haswell處理器或者InfiniBand等其它高成本要素被加入進(jìn)來(lái)，基礎(chǔ)成本無(wú)疑將顯著提高——特別是在采購(gòu)集群設(shè)備的頭一年時(shí)間當(dāng)中。

在以上配置條件下，用戶(hù)在物理數(shù)據(jù)中心內(nèi)運(yùn)維一臺(tái)典型的100節(jié)點(diǎn)集群，則每月需要承擔(dān)近7萬(wàn)美元固定成本，其中約1萬(wàn)6千美元被用在了能源消耗及冷卻方面開(kāi)支當(dāng)中。Poort提供的統(tǒng)計(jì)數(shù)字當(dāng)中還包含一位負(fù)責(zé)管理該集群的全職工程師的薪酬。他同時(shí)強(qiáng)調(diào)稱(chēng)，對(duì)于大多數(shù)用戶(hù)、甚至是已經(jīng)開(kāi)始向云端過(guò)渡的用戶(hù)而言，這一職位都仍然切實(shí)存在，因?yàn)槠髽I(yè)內(nèi)部往往繼續(xù)運(yùn)行著大量工作負(fù)載。

接下來(lái)我們可以看到Poort所提供的典型集群的具體成本構(gòu)成：

云計(jì)算對(duì)陣高性能計(jì)算：誰(shuí)更具競(jìng)爭(zhēng)力?

這僅僅是集群運(yùn)維方面的支出，Poort表示實(shí)際情況還應(yīng)當(dāng)考慮到集群的整體擁有成本，包括技術(shù)支持團(tuán)隊(duì)以及其它服務(wù)項(xiàng)目所帶來(lái)的超出表格范疇之外的支出，其每月整體成本約為11萬(wàn)美元。有趣的是，硬件相關(guān)成本僅為4萬(wàn)美元左右，但其它運(yùn)維(包括供電、人員以及其它相關(guān)費(fèi)用)卻高達(dá)7萬(wàn)美元之巨。

這個(gè)數(shù)字聽(tīng)起來(lái)確實(shí)不低，尤其是考慮到企業(yè)往往會(huì)把為高性能計(jì)算資源準(zhǔn)備的預(yù)算按部門(mén)加以進(jìn)一步劃分。舉例來(lái)說(shuō)，在某些企業(yè)當(dāng)中，帶寬方面的成本預(yù)算被納入到整體帶寬使用量監(jiān)控機(jī)制當(dāng)中。電力消耗也是如此，這部分支出往往并不會(huì)被直接劃撥給高性能計(jì)算集群，因?yàn)閿?shù)據(jù)中心內(nèi)部還包含有其它設(shè)備所帶來(lái)的能源成本。雖然這些資金都會(huì)由企業(yè)負(fù)責(zé)提供，但Poort表示直接列出數(shù)字的方式更加容易理解——此處的統(tǒng)計(jì)結(jié)果屬于將各項(xiàng)開(kāi)銷(xiāo)直接累加得到的總和，其中可能也包括一部分被算在高性能計(jì)算部門(mén)頭上的、實(shí)際由其它部門(mén)使用的支出項(xiàng)目。

云計(jì)算對(duì)陣高性能計(jì)算：誰(shuí)更具競(jìng)爭(zhēng)力?

考慮到這一點(diǎn)，將整體成本準(zhǔn)確拆分為每小時(shí)運(yùn)營(yíng)開(kāi)支確實(shí)有些難度，特別是考慮到多數(shù)情況下我們往往只能基于不同硬件多帶帶進(jìn)行計(jì)算。換言之，計(jì)算結(jié)果中往往缺失了前面所列舉的整體運(yùn)營(yíng)與數(shù)據(jù)中心日常成本。在這里我們姑且將滿(mǎn)載運(yùn)轉(zhuǎn)情況下的每計(jì)算核心使用成本按照每小時(shí)10美分計(jì)算，當(dāng)然不同企業(yè)由于情況有別、計(jì)算結(jié)果則可能出現(xiàn)明顯差異。“如果大家只加入電力消耗費(fèi)用而沒(méi)有包含整體數(shù)據(jù)中心成本，那么每計(jì)算核心每小時(shí)的使用成本可能只需要5美分。這從表面上看似乎沒(méi)什么差別，但這樣的成本水平已經(jīng)比我們的計(jì)算方式高出25%——再加上其它設(shè)施支出與元素所帶來(lái)的負(fù)擔(dān)，最終差異將極為明顯，”P(pán)oort解釋道。這種節(jié)約效果可能稱(chēng)不上立竿見(jiàn)影，但卻是兩種方案之間的重要差別，而且隨著時(shí)間的推移、這種差別將愈發(fā)顯著。

美中不足的是，每計(jì)算核心每小時(shí)10美分的使用成本只適用于滿(mǎn)負(fù)載運(yùn)轉(zhuǎn)這一假定前提之下，具體如下表所示。“在評(píng)估此類(lèi)成本時(shí)經(jīng)常出現(xiàn)的另一大誤區(qū)在于，當(dāng)人們審視自己在云環(huán)境下使用服務(wù)器的開(kāi)銷(xiāo)時(shí)，往往會(huì)單純從表面理解、認(rèn)為其成本比親自購(gòu)買(mǎi)服務(wù)器并接入基礎(chǔ)設(shè)施更高。有鑒于此，我們需要強(qiáng)調(diào)一點(diǎn)，也就是資源利用率方面的差別——在云環(huán)境下，我們可以隨時(shí)開(kāi)啟并關(guān)閉自己租賃的設(shè)備。而在非使用時(shí)段中，它們完全不會(huì)帶來(lái)任何成本，”P(pán)oort指出。

換句話(huà)來(lái)說(shuō)，作為一套典型的內(nèi)部系統(tǒng)方案，大部分高性能計(jì)算工程技術(shù)團(tuán)隊(duì)更傾向于采取較高容量規(guī)格以應(yīng)對(duì)資源需求峰值，畢竟能夠?qū)⑷抠Y源投入產(chǎn)品開(kāi)發(fā)往往比保持100%資源利用率更加重要。“很多企業(yè)已經(jīng)意識(shí)到，他們目前的實(shí)際資源利用率恐怕只有60%到70%。但這種容量設(shè)置對(duì)自身而言確實(shí)非常明智，因?yàn)樗麄冃枰獫M(mǎn)足峰值容量提出的資源需求——工程師們可一刻都等不得。”

這就回到了Poort之前提到的觀點(diǎn)，即對(duì)于高性能計(jì)算客戶(hù)而言，最理想的用例應(yīng)該能夠?qū)?nèi)部資源與基于云的容量加以結(jié)合，從而在輕松應(yīng)對(duì)峰值需求的同時(shí)利用現(xiàn)有硬件投資平衡實(shí)際運(yùn)營(yíng)成本。他并不指望企業(yè)客戶(hù)會(huì)將全部關(guān)鍵性高性能計(jì)算工作負(fù)載都投入到云環(huán)境下。不過(guò)在他看來(lái)，利用云服務(wù)所提供的各類(lèi)硬件與軟件工具來(lái)擴(kuò)展企業(yè)現(xiàn)有容量是個(gè)理想的選擇。

最后需要強(qiáng)調(diào)的是，除了可觀的全球資源儲(chǔ)備之外、Rescale公司還在軟件許可方面擁有豐富的搭配組合，足以幫助獨(dú)立軟件開(kāi)發(fā)商擺脫那些昂貴而復(fù)雜的高性能計(jì)算工程軟件。對(duì)于用戶(hù)來(lái)說(shuō)，以小時(shí)為單位支付軟件許可費(fèi)用顯然極為重要、甚至可算是一種獨(dú)特優(yōu)勢(shì)。盡管這一點(diǎn)在上述表格當(dāng)中并沒(méi)能得到明確體現(xiàn)——特別高性能計(jì)算系統(tǒng)與具體工作負(fù)載的實(shí)際差異讓我們很難為其制定一種準(zhǔn)確的衡量基準(zhǔn)，但相信用戶(hù)對(duì)其重要價(jià)值有所理解。