資訊專欄INFORMATION COLUMN
摘要：安裝從官網下載最新版本的發布。安裝完成后可以使用來測試是否安裝成功。在解壓后的目錄使用第一個程序是分析日志，中的。代碼如下中的所有轉換都是惰性的，只有發生一個要求返回結果給的動作時，這些轉換才會被執行。資源官網知乎精華答案編程指南版
安裝
從官網下載最新版本的發布。目前是1.1.0
安裝Java和JDK。安裝完成后可以使用java -version來測試是否安裝成功。
在spark解壓后的目錄使用./sbt/sbt --assembly
Hello World
第一個程序是分析Nginx日志，中的http response code。代碼如下：
from pyspark import SparkContext
logFile = "20141010.log"
sc = SparkContext("local", "Hello Spark")
logData = sc.textFile(logFile).cache()
counts = logData.map(lambda line: line.split()[8]).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("spark_results")
Debug Shell
./spark-1.1.0/bin/pyspark
Submit File
./bin/spark-submit --master local[4] SimpleApp.py
Notes
Spark中的所有轉換都是惰性的，只有發生一個要求返回結果給Driver的動作時，這些轉換才會被執行。
資源
Spark官網
CSDN Spark
知乎精華答案
Spark編程指南（Python）版
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/39089.html
摘要：編程指南例子集群模式與如何部署集群模式提交部署應用如何監控算子如何配置，有哪些配置選項配置大全提示默認端口端口調優 編程指南：http://spark.apache.org/docs/... ApiDoc: http://spark.apache.org/docs/... 0、例子 http://spark.apache.org/examp... 1、集群模式與如何部署？ 集...
摘要：學習致謝一數據數據網站二需求針對用戶查詢日志數據中不同字段，使用讀取日志數據，封裝到數據集中，調用函數和函數進行處理不同業務統計分析三分詞工具測試使用比較流行好用的中文分區面向生產環境的自然語言處理工具包，是由一系列模 ...
閱讀 2786·2021-11-02 14:42
閱讀 3170·2021-10-08 10:04
閱讀 1188·2019-08-30 15:55
閱讀 1032·2019-08-30 15:54
閱讀 2321·2019-08-30 15:43
閱讀 1685·2019-08-29 15:18
閱讀 870·2019-08-29 11:11
閱讀 2369·2019-08-26 13:52
