資訊專欄INFORMATION COLUMN
摘要：當下數據礦工們談論最多的，莫過于這星火了。今天也湊了把熱鬧，把一個日志解析的模塊改成實現，算是體驗之旅吧。總體感覺是一個不夠可愛的姑娘，表現在語法似乎還沒進入穩定狀態，像列表擴展正則匹配這樣基礎的都能搜出一大堆眼花繚亂的做法。
當下數據礦工們談論最多的，莫過于這「星火」了。Spark這名字，總讓我聯想起高中背過的單詞書，從而印象不佳，哈哈。
今天也湊了把熱鬧，把一個日志解析的模塊改成Spark實現，算是體驗之旅吧。
剛開始我是用看起來很像Swift的Scala寫的：SparkLogExtract.scala
然后我希望為這個程序增加參數傳入的功能，然后我谷歌大法了，然后就沒有然后了。
總體感覺Scala是一個不夠可愛的姑娘，表現在：
語法似乎還沒進入穩定狀態，像列表擴展、正則匹配這樣基礎的API都能搜出一大堆眼花繚亂的做法。
沒有break和continue的日子里我真的很想他們……
SBT對天朝子民真的很慢！
雖然提供了Shell，可提交還是要編譯的好不。
長得不好看，函數沒有「return」真的充滿了違和感（咦，我怎么會用違和感這種高級詞匯？）
當然要換回熟悉的Python！
接下來就爽快多了，除了map的函數傳參遇到了困難（最后我惡心地用一個lambda調用普通函數搞定了），其他一帆風順，運行速度和Scala一樣快的（嘿嘿）。
代碼請見：spark_log_extract.py
求賜星星！
來自：建造者說
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/37482.html
摘要：在移動端，愛奇藝月度總有效時長億小時，穩居中國榜第三名。愛奇藝的峰值事件數達到萬秒，在正確性容錯性能延遲吞吐量擴展性等方面均遇到不小的挑戰。從到愛奇藝主要使用的是和來進行流式計算。作者：陳越晨 整理：劉河 本文將為大家介紹Apache Flink在愛奇藝的生產與實踐過程。你可以借此了解到愛奇藝引入Apache Flink的背景與挑戰，以及平臺構建化流程。主要內容如下： 愛奇藝在實時計算方...
閱讀 2580·2021-11-22 09:34
閱讀 948·2021-11-19 11:34
閱讀 2807·2021-10-14 09:42
閱讀 1489·2021-09-22 15:27
閱讀 2391·2021-09-07 09:59
閱讀 1743·2021-08-27 13:13
閱讀 3438·2019-08-30 11:21
閱讀 780·2019-08-29 18:35
