摘要:近日,騰訊主導的最新版本發布,為國內科技公司邁出了國際開源領域貢獻的重要一步。年發布,年成為頂級項目。目前在騰訊致力于領導騰訊云大數據及人工智能產品研發工作。
近日,騰訊主導的Apache Hadoop2.8.4最新版本發布,為國內科技公司邁出了國際開源領域貢獻的重要一步。
2006年Apache Hadoop發布,2008年Hadoop成為Apache頂級項目。在那時,中國移動、百度、淘寶等都已經開始使用Hadoop技術。Hadoop現在早已成為Apache軟件基金會的金牌項目之一。不僅如此,它還孕育了包括HBase、Hive、ZooKeeper等一系列知名Apache頂級項目,它們一開始都是以Apache Hadoop子項目的形式在社區運作、為開發者熟知的。
這次騰訊主導發布的Apache Hadoop2.8.4版本,涉及20多個大大小小的特性和優化,清單如下:
負責這一版本整體進度的Release Manager,是來自騰訊云產品部大數據及人工智能產品中心的專家研究員堵俊平,他同時也是Apache Hadoop社區PMC的成員。
Apache軟件基金會推崇PMC制度,每個開源項目都是一個PMC,即項目管理委員會,可以自行決定技術發展方向和社區運作模式,但需要公開信息,并定期向Apache的董事會匯報,以便董事會監督。
成為PMC的成員可是非常不容易的事,必須要一步步“打怪升級”。要實現從一個普通的Developer到PMC Member的跨越,除了碼代碼以外,開源社區的組織能力也要強,是不是帥呆了?
堵俊平,騰訊T4大數據技術專家,曾任EMC,VMware資深研發工程師,Hortonworks美國YARN團隊負責人。深耕云計算,大數據方向10余年,在多個社區均享有極高知名度,包括Apache Hadoop社區Committer & PMC,并領導hadoop 2.6、2.8等應用非常廣泛的社區release。曾領導開發多個Hadoop在云平臺上優化與拓展的項目與產品。目前在騰訊致力于領導騰訊云大數據及人工智能產品研發工作。
小編采訪了一下這位男神,接下來就讓他給大家講一下,這次新版本發布過程中的小細節吧。
Q:很多人可能聽說過“開源”,但了解不多,您可以簡單介紹一下嗎?
A:開源可以理解為“向公眾開放源代碼”。近幾年來熱度不減的大數據,就是由開源的軟件來驅動整個產業生態的。這里就不得不提到一個里程碑式的開源產品——hadoop:從谷歌的三篇論文,到雅虎的hadoop,開啟了如今的大數據時代。
過去的系統軟件主要是由閉源軟件來驅動的。雖然像操作系統涌現出Linux這樣優秀的軟件,但后面的數據庫和應用服務器,仍然幾乎都是從閉源產品去驅動的。
hadoop誕生后的這十年來,一直都是大數據生態的核心,它改變了以往的軟件形式,成為了最主流的開源項目之一。現在基本上各家數據平臺團隊,都是在hadoop生態系統上小修小改,去支持大數據相關的業務系統,可以認為它是開源的一個標準吧。
Q:與傳統的閉源生態相比,開源有什么好處呢?
A:首先是避免“重復發明輪子”的問題,不同的個人和團體可以在公開的代碼平臺上集體創作,而不是封閉起來做重復的事情。其次是用戶不必被綁架在特定的軟件平臺上,隨時可以遷移應用和數據。最后是核心知識產權,比如以前的IOE,不只是沒有“中國芯”的問題,上面的應用軟件和系統軟件可能隨時面臨被人封鎖的危險,而開源就不會有這個問題,它完全公開透明。另外,開源也鼓勵公司規劃長線的技術投資,而不只是短線的利益操作。
Q:騰訊這次主導阿帕奇社區hadoop新版本的發布,在國內算是首次嗎?
A:對,以前都是由微軟、Hortonworks和Cloudera等國外大數據廠家輪流坐莊,而這個版本是第一次完全由國內的公司來支持的。從技術號召力或者對整個開源社區的影響力來說,可以鼓勵國內的開發者和公司更積極地參與開源項目貢獻,勇于承擔更大的責任,更多地回饋開源社區。
Q:給整個社會也帶來了哪些積極的影響呢?
A:首先,大數據軟件屬于基礎技術,這次平臺是由騰訊做技術主導的,在國內算是一個突破。其次,對于開發者社區來說,也是比較可靠的一個社區、最熱門的項目。最后,對于普通人來說,也是可以從中受益的。因為基礎平臺能力的提高,也伴隨著數據處理能力的提高,可以讓大家的生活更方便。大數據時代到來之前,可能沒有那么多面向數據的業務,比如地圖業務、O2O業務、智能推薦系統等等。包括現在極具話題性的AI人工智能,如果沒有大數據平臺的進步,也是發展不起來的。
Q:之前是有技術難關的限制嗎?
A:過去十年,中國的互聯網公司發展很快,大家都以追求業務為主,在技術或開源方面做得不夠,這是我們相較西方的短板。國內很多公司其實也嘗試過開源,但它只有開源的代碼,沒有開源的社區,也就是自己覺得某個產品做得不錯,就把源代碼開放出來而已。
源代碼的開放和開源社區是兩回事,區別就是你這個開源的代碼,其它第三方(尤其是你的生態合作伙伴)有沒有能力來參與。
現在整個大數據的熱潮,其實就是被幾款開源的核心軟件所推動的。中國的這些大公司在具備了經濟實力之后,也開始以開源為手段想要構造一個更好的生態。這可能需要一個過程,但大家已經慢慢意識到這些基礎軟件跟開源結合的重要性了。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/35945.html
摘要:從用戶成為股東在基金會的天從年開始為的初始版本打補丁,堵俊平已經在社區深耕了近年,年月成為中國第一個的年月,年月榮升。他們有權選舉董事會,成為董事會選舉的候選人。基金會成員對基金會直接負責,在多個項目中做出貢獻,擁有董事會的投票權。 3月27日,騰訊云大數據及人工智能產品研發的專家研究員堵俊平受邀成為 Apache 軟件基金會Member(Apache Softeware Founda...
閱讀 1081·2021-11-16 11:45
閱讀 2726·2021-09-27 13:59
閱讀 1322·2021-08-31 09:38
閱讀 3152·2019-08-30 15:52
閱讀 1320·2019-08-29 13:46
閱讀 2094·2019-08-29 11:23
閱讀 1643·2019-08-26 13:47
閱讀 2495·2019-08-26 11:54