摘要:打造云中便捷版,強勢對抗上周,為其增加了連接器,這樣開發(fā)人員現(xiàn)在已經(jīng)能夠很輕松的在計算虛擬機上進行操作了,的預(yù)覽版將使開發(fā)人員不用再花大力氣去管理集群和文件系統(tǒng)。在此領(lǐng)域,和的競爭將更加激烈。但他同時表示這可能有問題。
1. Google打造云中Hadoop便捷版,強勢對抗AWS上周,Google為其Google Cloud Platform增加了Hadoop 連接器,這樣開發(fā)人員現(xiàn)在已經(jīng)能夠很輕松的在Google計算虛擬機上進行Hadoop操作了,Google Cloud Storage Hadoop的預(yù)覽版將使開發(fā)人員不用再花大力氣去管理集群和文件系統(tǒng)。在此領(lǐng)域,Google和AWS的競爭將更加激烈。下圖是Hadoop在Google Cloud Platform上的圖解。在Google Cloud Storage上存儲數(shù)據(jù)時HDFS、NameNode是可選的。?
下面是用Google Cloud Storage運行Hadoop的優(yōu)勢:
兼容性:Google Cloud Storage connector for Hadoop 代碼兼容Hadoop。?2. 平均比Hive快24倍,Impala劍指Stinger在YARN之前,Hadoop僅適用于離線處理場景?;趯崟r性的需求,各個機構(gòu)紛紛研發(fā)了自己的流處理框架,這次我們說的是兩SQL-on-Hadoop項目的對決,同時也是兩家知名Hadoop解決方案提供商的比拼——Impala vs. Stinger。
快速啟動:當數(shù)據(jù)復(fù)制到HDFS以及NameNode,你不必等待過長時間來結(jié)束安全模式。?
更高的可用性和可擴展性:?Google Cloud Storage比HDFS具有更高的可用性。?
低成本:包括存儲和計算兩方面都節(jié)省成本,同時,它是以分鐘計費。?
沒有存儲管理開銷:Google Cloud Storage只需要為計算付費。?
互通性:通過在Google Cloud Storage保管數(shù)據(jù),你可以從Google上其它的服務(wù)中獲益。?
性能:由于有了Google Cloud Storage,Google的基礎(chǔ)設(shè)施將會比HDFS提供更高的性能
測試對比版本是 Impala 1.1.1與 Hive 0.12(集成了Stinger),Hive運行在ORCFile 數(shù)據(jù)集之上,Impala 則使用了Parquet存儲相同的數(shù)據(jù)。為了讓Hive得到較佳性能,Cloudera還將TPC-DS查詢轉(zhuǎn)換成SQL-92 join,并且手動優(yōu)化了join順序,指定了分區(qū)字段,Impala也做了同樣的優(yōu)化。數(shù)據(jù)大小是3TB,使用了典型的5 Hadoop數(shù)據(jù)節(jié)點配置。查詢也使用了多種類型,也包含了多種標準join及聚合,還使用了復(fù)雜的多級聚合和子查詢。
?
測試得出的結(jié)果是Impala比Hive快6-69倍不等,類型包括以下幾種:?
上周,Netflix開源了S3mper,這對那些在使用AWS S3存儲服務(wù),而且想要更高數(shù)據(jù)一致性的用戶來說,是個好消息。這一次,它的開源S3mper庫已經(jīng)經(jīng)過優(yōu)化和測試,這樣可以確保在AWS巨大的S3存儲服務(wù)里有更好的數(shù)據(jù)存儲一致性。S3mper遵循Apache License 2.0。這對利用S3進行大量批處理以及對一致性要求很苛刻的金融或醫(yī)療領(lǐng)域會非常有用。
需要更好的一致性可以采用二次索引“在S3上支持原始數(shù)據(jù)的同時編制文件元數(shù)據(jù)目錄,”?Weeks?寫道。但他同時表示這可能有問題。他說,在小范圍里,你可以通過使用“一致的、二次索引在S3上支持原始數(shù)據(jù)的同時為文件元數(shù)據(jù)編制目錄”得到你需要的一致性。但隨著規(guī)模增大,情況會變得越來越棘手。一般來說,只要二次索引能夠處理所有的請求,它就會正常工作。不過,當你依賴兩個獨立系統(tǒng)時,數(shù)據(jù)丟失和性能沖擊的風險會隨之上升,他說。?
4.?開放式創(chuàng)新改變世界——OpenStack生態(tài)系統(tǒng)將重新洗牌
OpenStack基礎(chǔ)軟件開發(fā)周期長、投入大、技術(shù)創(chuàng)新轉(zhuǎn)化成產(chǎn)品需要更多時間,超越公司的開放協(xié)作才有利于和促進產(chǎn)業(yè)繁榮發(fā)展。OpenStack能否成為繼Linux之后開放式創(chuàng)新的又一成功案例呢?這個成立之初僅有兩個基礎(chǔ)模塊的OpenStack,如今已發(fā)展成為擁有9個核心子項目(Havana)一系列孵化項目的龐大開源組織。吸引到了眾多開源領(lǐng)域的專家加入,還有廠商們的大力追捧。
?
5. 【產(chǎn)業(yè)觀察】金山云總裁王育林:星星之火 可以燎原
AWS近期的入華,使得業(yè)界對于云計算服務(wù)的關(guān)注度飆升到了較高點,國內(nèi)云計算供應(yīng)商也紛紛祭出了“價格戰(zhàn)”這尊法寶。然而王育林認為,在企業(yè)級市場,“價格戰(zhàn)”很難真正奏效,讓用戶親身體驗服務(wù)的質(zhì)量才是王道。
?
1. Compaction優(yōu)化
2. Mean Time To Recovery/MTTR優(yōu)化?
3. Bucket Cache (L2 cache on HBase)
4. Java GC改進?
5. HBase的企業(yè)級數(shù)據(jù)庫特性(Secondary Index、Join和Transaction)
6. PrefixTreeCompression?
7. 其他變化
展望2014年,HBase即將release 1.0版本,更好的支持multi-tenancy, 支持Cell級別的ACL控制。
7. 利用ElasticSearch和Redis檢索和存儲十億信息如果從企業(yè)應(yīng)用的生存率來看,選擇企業(yè)團隊信息作為主要業(yè)務(wù),HipChat的起點絕非主流;但是如果從賺錢的角度上看,企業(yè)市場的高收益確實值得任何公司追逐,這也正是像JIRA和Confluence這樣的智能工具制造商Atlassian于2012年收購HipChat的原因。
同時,或許你不知道的是,在Atlassian資源和人脈的幫助下,HipChat已經(jīng)進入了一個指數(shù)增長周期。12億的信息存儲意味著他們現(xiàn)在每隔幾個月的信息發(fā)送、存儲和索引量都會翻一番。全文從統(tǒng)計、平臺、產(chǎn)品、XMPP服務(wù)器架構(gòu)、存儲架構(gòu)、常規(guī)、未來、經(jīng)驗教訓(xùn)等方面對HipChat做了全方位的介紹,即使HipChat沒有谷歌那么大規(guī)模,我們?nèi)阅軓闹袑W(xué)到好東西,比如他們?nèi)绾渭皶r索引和搜索十億信息。
8. 【CSDN云計算俱樂部】九城及攜程的Hadoop大數(shù)據(jù)平臺
隨著移動互聯(lián)網(wǎng)的發(fā)展,中國的手機網(wǎng)民已經(jīng)接近6億之巨,如此多設(shè)備帶來的價值不言而喻,因此大家一直在談?wù)摯髷?shù)據(jù),也一直在尋找更好的Hadoop使用途徑,本期CSDN云計算俱樂部的主題就是圍繞Hadoop展開的大數(shù)據(jù)掘金之路。2014年1月4日,CSDN云計算俱樂部在上海市第九城市信息技術(shù)有限公司培訓(xùn)室舉辦活動,本次活動的主題是“從Hadoop實踐到基于業(yè)務(wù)的分析,開啟你的數(shù)據(jù)掘金之路”。
來自九城技術(shù)部負責Hadoop的架構(gòu)師,周誠帶來的主題是“Hadoop大數(shù)據(jù)分析”,主要分享九城搭建的一個以Hadoop為基礎(chǔ)的大數(shù)據(jù)平臺,同時還分享了相關(guān)的具體案例。最后他還分享了九城的商品定向推薦功能。?
接下來進行主題分享的是來自于攜程旅行網(wǎng)負責網(wǎng)站運營中心容量平臺的周海燕,她帶來的主題分享是“ctrip的web容量分析辦法”。主要介紹了ctrip的容量規(guī)劃任務(wù),通過使用當前性能作為基線數(shù)據(jù),評估以及預(yù)測系統(tǒng)需要什么資源,什么時候需要更多的資源。其中包括,基于周期性季節(jié)指數(shù)預(yù)測法的業(yè)務(wù)量預(yù)測,基于回歸分析的web容量預(yù)測等。詳細的PPT分享請點擊原文鏈接。?
9-10.?AWS會贏、OpenStack會消亡、Connected Cars可防僵尸攻擊,Pivotal聘用eBay前副總裁,繼續(xù)發(fā)力云計算市場
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/4060.html
摘要:收購中,的功能可能會被集成到中,以便客戶在本地環(huán)境和公有云之間進行數(shù)據(jù)遷移。同時,這筆收購也是為應(yīng)對打出的一張牌。此番收購將對那些正在使用或的客戶產(chǎn)生影響,尤其當涉及到未來創(chuàng)新時,他們將被鎖定。 商業(yè)世界中,大魚吃小魚,小魚吃蝦米的事情屢見不鮮。云服務(wù)市場自然也是如此,2018剛一開年,Microsoft就宣布收購了混合云數(shù)據(jù)存儲公司Avere Systems,這似乎讓2018年也注定不平凡...
摘要:近日,針對具有適度計算,存儲,數(shù)據(jù)庫和網(wǎng)絡(luò)需求的用戶推出了一個新的免費使用的云平臺。云誰的免費層更好您從云中可以獲得過去,谷歌為新的谷歌云平臺客戶提供了有限時間的免費使用積分。 近日,Google針對具有適度計算,存儲,數(shù)據(jù)庫和網(wǎng)絡(luò)需求的用戶推出了一個新的免費使用的Google云平臺。事實上,每一家大型的云公司都會有免費的層級共使用。AWS 、Azure、Google云相比,誰的會更好呢?以...
摘要:在此次會議上,還計劃發(fā)布云計算深度學(xué)習服務(wù)。兩名消息人士表示,新的深度學(xué)習服務(wù)也幫助用戶更方便地運行常見深度學(xué)習開發(fā)工具包,例如和谷歌。谷歌和微軟已提供類似的服務(wù)。 據(jù)外媒報道,亞馬遜AWS正在大力推動人工智能產(chǎn)品的升級,包括自主開發(fā)技術(shù)以及與多家AI創(chuàng)業(yè)公司合作。AWS希望補足自身短板,贏得更多人工智能業(yè)務(wù)??傮w來說,AWS在人工智能領(lǐng)域的工作以Ironman項目為中心。Ironman項目...
摘要:思科云平臺和解決方案高級副總裁解釋說正確配置以在本地和公有云中部署應(yīng)用需要定制集成,這從操作上來說可能是一項挑戰(zhàn)。近年來,容器由于其靈活性已經(jīng)成為部署應(yīng)用的一種流行方式。容器技術(shù)將工作負載捆綁成輕量級的便攜式軟件包,可以在不同類型的基礎(chǔ)設(shè)施之間輕松移動。今天早上公布的Cisco Hybrid Solution for Kubernetes on AWS解決方案旨在消除大規(guī)模使用容器的障礙。 ...
閱讀 3197·2023-04-26 01:39
閱讀 3351·2023-04-25 18:09
閱讀 1621·2021-10-08 10:05
閱讀 3237·2021-09-22 15:45
閱讀 2784·2019-08-30 15:55
閱讀 2398·2019-08-30 15:54
閱讀 3173·2019-08-30 15:53
閱讀 1331·2019-08-29 12:32