云計算將在大數據領域扮演怎樣的角色？

freecode 發布于2019-04-28 19:26 / 1522人閱讀

摘要：大數據處理和所有權導致存儲行業現狀發生轉變。鑒于這些發展動向，云計算在大數據領域可以扮演什么角色呢答案是冷存儲，這個領域仍沒有得到企業界的充分利用。云計算和虛擬存儲在數據集市也存在發展前景。

　　大數據處理和所有權導致存儲行業現狀發生轉變。本文介紹了存儲實踐方面最重大的變化。

　　企業存儲環境主要是圍繞記錄系統構建起來的，側重于這些問題：為數據記錄長度固定的文件購買哪些類型的存儲介質和管理系統，所存儲數據的性質是實時數據、準實時數據，還是只是偶爾需要訪問或完全可以用數據歸檔保存起來的批量填充的數據等。

　　自從大數據進入企業數據中心和業務部門，一切改變了――單個的大數據文件可以用數TB、甚至數PB來衡量。Hadoop等分析平臺上的大數據并行處理與事務數據的按順序處理有著明顯區別。不出所料，存儲方面要考慮的因素隨之變化。

　　這種變化在數據分析和高性能計算領域體現得最為明顯。這個領域以Hadoop應用程序為主，它們借助算法分析方法并行處理數PB級數據，用于數據科學及其他復雜查詢。就高性能應用程序而言，很難考慮像虛擬化存儲或基于云的存儲這些概念，因為你只有通過數據中心的物理處理器和存儲平臺，才能直接處理并存儲數據和查詢結果。

　　因此，這種工作具有的計算密集性和存儲密集性使數據中心管理人員(包括存儲專業人員)不再像過去十年那樣，迫切尋求的虛擬化或云計算。作為大數據對象存儲特點的單一數據集的龐大性也是如此，它們使用元數據標簽來描述非傳統數據圖像，比如照片、視頻、音頻記錄和文檔圖像等。

　　此外，大數據項目的所有權也改變了存儲計算。如果公司里面的業務部門在運行大數據項目，其目標就會轉向零散的分布式物理存儲架構，這些分布式物理存儲是網絡附加存儲(NAS)，可以在工作負載需要時，向外擴展到多個存儲設備。分布式向外擴展型NAS是基于云的存儲或虛擬存儲之外的一種選擇，它與這些流行的IT趨勢形成了鮮明對照。

　　鑒于這些發展動向，云計算在大數據領域可以扮演什么角色呢?

　　答案是冷存儲(cold storage)，這個領域仍沒有得到企業界的充分利用。冷存儲是極其便宜、速度很慢、駐留在磁盤的數據，存儲起來放到歸檔上，妥善保存起來。在日常的IT中，這些數據很少有機會需要用到，所以如果你把它轉移到異地數據存儲庫很方便，不必讓它在你的數據中心或運營系統中占用空間。如果該數據存儲庫在云端，你就能夠從數據中心遠程訪問它，沒必要大老遠跑到異地拿起磁盤或磁帶。

　　云計算和虛擬存儲在數據集市也存在發展前景?，F在許多公司使用數據集市為不同的部門運行批量查詢。數據集市中所用的數據大多是批量創建，基本是過去用來查詢的傳統數據。不同之處在于，用戶現在擁有比過去更多的分析報告創建工具和選項用于查詢，而且數據管理員更能夠生成從不同來源聚合的數據。在這種批量環境下，磁盤存儲解決方案用起來就跟過去一樣有效。

　　存儲管理員需要應對大數據帶來的變化，尤其是如何應對眾多極其龐大的大數據文件。這就需要專門的磁盤和處理，在大多數情況下，還需要與云計算和虛擬化項目背道而馳的本地存儲。在另一方面，商用冷存儲解決方案可能會最終消除這個困境：很少使用的數據駐留在機房的過時磁盤和磁帶驅動器上，無人照管。

云服務器 GPU云服務器云計算涉及的領域云計算的應用領域 linux在大數據中的作用餓了么在大數據上的成功

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/4918.html

BAT科技帝國背后的數據基石：數據港

摘要：本期算力科創家市北高新篇專題專訪了數據港副總裁王海峰，介紹數據中心在大數據中的重要作用。據說都是數據港的客戶，在這些巨頭的業務板塊中數據港扮演了什么角色一種是做我們叫，純粹的這種商業租用服務。算力說隨著大數據行業的發展，對于數據的其承載方數據中心的需求也越高越高，其中成立于2009年的數據港逐漸成長為行業龍頭，BAT這樣的科技巨頭、中國的三大通訊商等企業都是其客戶，數據港可謂見證了大數據行業...

liuhh 2019-04-29 17:51 評論0 收藏0
AWS掌門人暢談公司發展、云計算、Alexa和經營戰略

摘要：最近接受了彭博的專訪，主要談了公司的發展云計算和經營戰略等問題，以下是根據視頻整理的文字版供大家參閱。底層面向專家級別的機器學習從業人員。我認為對大多數公司來說真正的寶石是可以用自己的數據來搞的機器學習和。 AWS CEO Andy Jassy 最近接受了彭博（Bloomberg）的專訪，主要談了公司的發展、...

騫諱護 2019-04-25 16:30 評論0 收藏0
Wikibon預測：多云、軟件機器人和Kubernetes將在2019年興起

摘要：最早是由谷歌設計，現在作為一個開源平臺免費提供給用戶。根據聯合主席兼谷歌云平臺倡導者的說法，擁有一個真正成功的生態系統，利用技術的云原生初創公司肯定能夠蓬勃發展。技術領域又一個動蕩之年即將結束，如果沒有關注企業領域最重要的主題：云計算，你就很難做出關于未來一年的任何預測。企業模式是公有的、私有的、還是多云的？容器扮演什么角色？像Cloud Native Computing Foundatio...

caiyongji 2019-04-29 14:37 評論0 收藏0
AWS掌門人暢談公司發展、云計算、Alexa和經營戰略

摘要：最近接受了彭博的專訪，主要談了公司的發展云計算和經營戰略等問題，以下是根據視頻整理的文字版供大家參閱。底層面向專家級別的機器學習從業人員。我認為對大多數公司來說真正的寶石是可以用自己的數據來搞的機器學習和。 AWS CEO Andy Jassy 最近接受了彭博（Bloomberg）的專訪，主要談了公司的發展、云計算、Alexa和經營戰略等問題，以下是根據視頻整理的文字版供大家參閱。主持人：非...

frolc 2019-04-25 17:47 評論0 收藏0
亞馬遜CTOWerner Vogels將出席CSS 2019，對話騰訊湯道生探討全球云安全新趨勢

摘要：全球領先的科技企業騰訊亞馬遜將在今年月日聚首第五屆互聯網安全領袖峰會，簡稱，探討全球云安全新趨勢。最新議程披露，亞馬遜副總裁和首席技術官將出席今年并進行主題演講。據了解，此次圓桌不僅將聚焦騰訊和亞馬遜關于云安全的趨勢分享和應用前瞻。以云服務為代表的產業互聯網引領了數字化升級的浪潮。全球領先的科技企業騰訊、亞馬遜將在今年7月30-31日聚首第五屆互聯網安全領袖峰會(Cyber Secu...

2json 2019-08-30 11:20 評論0 收藏0