資訊專欄INFORMATION COLUMN
摘要：安裝環境依賴于大數據平臺，安裝部署之前確認，大數據平臺已經安裝。
0x01 Kylin安裝環境
Kylin依賴于hadoop大數據平臺，安裝部署之前確認，大數據平臺已經安裝Hadoop, HBase, Hive。
1.1 了解kylin的兩種二進制包預打包的二進制安裝包：apache-kylin-1.6.0-bin.tar.gz
特別二進制包：apache-kylin-1.6.0-HBase1.x-bin.tar.gz
說明：特別二進制包是一個在HBase 1.1+環境上編譯的Kylin快照二進制包；安裝它需要HBase 1.1.3或更高版本，否則之前版本中有一個已知的關于fuzzy key過濾器的缺陷，會導致Kylin查詢結果缺少記錄:HBASE-14269。此外還需注意的是，這不是一個正式的發布版(每隔幾周rebase KYLIN 1.3.x 分支上最新的改動)，沒有經過完整的測試。
0x02 安裝部署 2.1 下載可以選擇自己需要的版本進行下載，這里下載的是pache-kylin-1.6.0-bin.tar.gz
2.2 安裝$ tar -zxvf apache-kylin-1.6.0-bin.tar.gz $ mv apache-kylin-1.6.0 /home/hadoop/cloud/ $ ln -s /home/hadoop/cloud/apache-kylin-1.6.0 /home/hadoop/cloud/kylin2.3 配置環境變量
在/etc/profile里配置KYLIN環境變量和一個名為hive_dependency的變量
# vim /etc/profile //追加 export KYLIN_HOME=/home/hadoop/kylin export PATH=$PATH:$ KYLIN_HOME/bin export hive_dependency=/home/hadoop/hive/conf:/home/hadoop/hive/lib/*:/home/hadoop/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.0.jar
使配置文件生效
# source /etc/profile # su hadoop $ source /etc/profile
這個配置需要在從節點master2,slave1,slave2上同時配置，因為kylin提交的任務交給mr后，hadoop集群將任務分發給從節點時，需要hive的依賴信息，如果不配置，則mr任務將報錯為: hcatalogXXX找不到。
2.4 配置kylin.sh$ vim ~/cloud/kylin/bin/kylin.sh
//顯式聲明 KYLIN_HOME
export KYLIN_HOME=/home/Hadoop/kylin
//在HBASE_CLASSPATH_PREFIX中顯示增加$hive_dependency依賴
export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX
2.5 檢查環境是否設置成功
$ check-env.sh KYLIN_HOME is set to /home/hadoop/kylin2.6 配置kylin.properties
進入conf文件夾，修改kylin各配置文件kylin.properties如下
$ vim ~/cloud/kylin/conf/kylin.properties kylin.rest.servers=master:7070 #定義kylin用于MR jobs的job.jar包和hbase的協處理jar包，用于提升性能。 kylin.job.jar=/home/hadoop/kylin/lib/kylin-job-1.6.0-SNAPSHOT.jar kylin.coprocessor.local.jar=/home/hadoop/kylin/lib/kylin-coprocessor-1.6.0-SNAPSHOT.jar2.7 配置kylin_hive_conf.xml和kylin_job_conf.xml
將kylin_hive_conf.xml和kylin_job_conf.xml的副本數設置為2
2.8 啟動服務dfs.replication 2 Block replication
注意：在啟動Kylin之前，先確認以下服務已經啟動
hadoop的hdfs/yarn/jobhistory服務
start-all.sh mr-jobhistory-daemon.sh start historyserver
hive 元數據庫
hive --service metastore &
zookeeper
zkService.sh start
需要在每個節點上執行，分別啟動所有節點的zookeeper服務
hbase
start-hbase.sh
檢查hive和hbase的依賴
$ find-hive-dependency.sh $ find-hbase-dependency.sh
啟動和停止kylin的命令
$ kylin.sh start $ kylin.sh stop
Web訪問地址： http://192.168.1.10:7070/kylin/login
默認的登錄username/password 是 ADMIN/KYLIN
0x03 測試 3.1 測試Kylin自帶的sampleKylin提供一個自動化腳本來創建測試CUBE，這個腳本也會自動創建出相應的hive數據表。運行sample例子的步驟：
S1： 運行${KYLIN_HOME}/bin/sample.sh腳本
$ sample.sh
關鍵提示信息：
KYLIN_HOME is set to /home/hadoop/kylin Going to create sample tables in hive... Sample hive tables are created successfully; Going to create sample cube... Sample cube is created successfully in project "learn_kylin"; Restart Kylin server or reload the metadata from web UI to see the change.
S2：在MYSQL中查看此sample創建了哪幾張表
select DB_ID,OWNER,SD_ID,TBL_NAME from TBLS;
S3： 在hive客戶端查看創建的表和數據量（1w條）
hive> show tables; OK kylin_cal_dt kylin_category_groupings kylin_sales Time taken: 1.835 seconds, Fetched: 3 row(s) hive> select count(*) from kylin_sales; OK Time taken: 65.351 seconds, Fetched: 1 row(s)
S4： 重啟kylin server 刷新緩存
$ kylin.sh stop $ kylin.sh start
S5：用默認的用戶名密碼ADMIN/KYLIN訪問192.168.200.165:7070/kylin
進入控制臺后選擇project為learn_kylin的那個項目。
S6： 選擇測試cube “kylin_sales_cube”，點擊“Action”-“Build”，選擇一個2014-01-01以后的日期，這是為了選擇全部的10000條測試記錄。
選擇一個生成日期
點擊提交會出現重建任務成功提交的提示
S7： 監控臺查看這個任務的執行進度，直到這個任務100%完成。
任務完成
切換到model控制臺會發現cube的狀態成為了ready，表示可以執行sql查詢了
執行過程中，在hive里會生成臨時表，待任務100%完成后，這張表會自動刪除
please make sure user has the privilege to run hbase shell
檢查hbase環境變量是否配置正確。重新配置后問題解決。
參考：http://www.jianshu.com/p/632b...
Kylin安裝問題--/home/hadoop-2.5.1/contrib/capacity-scheduler/.jar (No such file or directory)
WARNING: Failed to process JAR [jar:file:/home/hadoop-2.5.1/contrib/capacity-scheduler/.jar!/] for TLD files java.io.FileNotFoundException: /home/hadoop-2.5.1/contrib/capacity-scheduler/.jar (No such file or directory) at java.util.zip.ZipFile.open(Native Method) at java.util.zip.ZipFile.(ZipFile.java:215) at java.util.zip.ZipFile.(ZipFile.java:145) at java.util.jar.JarFile.(JarFile.java:153) at java.util.jar.JarFile.(JarFile.java:90) at sun.net.www.protocol.jar.URLJarFile.(URLJarFile.java:93) at sun.net.www.protocol.jar.URLJarFile.getJarFile(URLJarFile.java:69) at sun.net.www.protocol.jar.JarFileFactory.get(JarFileFactory.java:99) at sun.net.www.protocol.jar.JarURLConnection.connect(JarURLConnection.java:122) at sun.net.www.protocol.jar.JarURLConnection.getJarFile(JarURLConnection.java:89) at org.apache.tomcat.util.scan.FileUrlJar.(FileUrlJar.java:41) at org.apache.tomcat.util.scan.JarFactory.newInstance(JarFactory.java:34) at org.apache.catalina.startup.TldConfig.tldScanJar(TldConfig.java:485) at org.apache.catalina.startup.TldConfig.access$100(TldConfig.java:61) at org.apache.catalina.startup.TldConfig$TldJarScannerCallback.scan(TldConfig.java:296) at org.apache.tomcat.util.scan.StandardJarScanner.process(StandardJarScanner.java:258) at org.apache.tomcat.util.scan.StandardJarScanner.scan(StandardJarScanner.java:220) at org.apache.catalina.startup.TldConfig.execute(TldConfig.java:269) at org.apache.catalina.startup.TldConfig.lifecycleEvent(TldConfig.java:565) at org.apache.catalina.util.LifecycleSupport.fireLifecycleEvent(LifecycleSupport.java:117) at org.apache.catalina.util.LifecycleBase.fireLifecycleEvent(LifecycleBase.java:90) at org.apache.catalina.core.StandardContext.startInternal(StandardContext.java:5412) at org.apache.catalina.util.LifecycleBase.start(LifecycleBase.java:150) at org.apache.catalina.core.ContainerBase.addChildInternal(ContainerBase.java:901) at org.apache.catalina.core.ContainerBase.addChild(ContainerBase.java:877) at org.apache.catalina.core.StandardHost.addChild(StandardHost.java:649) at org.apache.catalina.startup.HostConfig.deployWAR(HostConfig.java:1081) at org.apache.catalina.startup.HostConfig$DeployWar.run(HostConfig.java:1877) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471) at java.util.concurrent.FutureTask.run(FutureTask.java:262) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
其實這個問題只是一些小bug問題把這個腳本的內容改動一下就好了${HADOOP_HOME}/etc/hadoop/hadoop-env.sh把下面的這一段循環語句給注釋掉
#for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do # if [ "$HADOOP_CLASSPATH" ]; then # export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f # else # export HADOOP_CLASSPATH=$f # fi #done4.3 清理kylin空間
kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true
4.4 Permission deniedkylin cube測試時，報錯：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
解決辦法：
1 配置hdfs-site.xml
dfs.permissions false
2 在hdfs上給目錄/user 777的權限
$ hadoop fs -chmod -R 777 /user
0x05 參考鏈接http://kylin.apache.org/cn/do...
http://kylin.apache.org/cn/do...
http://www.cnblogs.com/avivay...
2017-02-17 19:51:39 星期五
update1: 2017-05-04 20:10:05 星期四
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/35865.html
摘要：基礎設施技術在這一領域經受了最為殘酷的考驗。支付寶在中國已經無處不在。中國之外除了本土技術，國外的一些技術也有了中國式規模的味道。在中國互聯網經濟大環境中，有一些問題一定要考慮到，特別是信息審查方面的問題。 本文轉載自公眾號「AI前線」。 策劃編輯｜Natalie 作者｜Kevin Xu 譯者｜無明 編輯｜Debra AI 前線導讀：中國科技公司是典型的早期采用者——不是因為趕時髦，而...
摘要：企業微信截圖企業微信截圖兼容最廣的一站式智能大數據平臺涵蓋了等眾多開源大數據組件，支持對這些組件進行運維中臺建設數據開發業務可視化等全棧式大數據開發運維管理。通過一站式智能大數據平臺支持的等分布式運算框架，可以高效的進行機器學習應用開發。背景在大數據業務系統中，所有技術棧生態均是圍繞著存儲進行擴展的，目前開源的主流存儲技術棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含...
摘要：機器學習機器學習通過算法對大量數據進行分析，挖掘出其中蘊含的規律，并用于事物預測或者分類，有大量的計算需求。通過一站式智能大數據平臺支持的等分布式運算框架，可以高效的進行機器學習應用開發。在大數據業務系統中，所有技術棧生態均是圍繞著存儲進行擴展的，目前開源的主流存儲技術棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含 Hive、Hbase、Phoenix 等；· Ela...
閱讀 707·2021-11-18 10:02
閱讀 2242·2021-11-15 18:13
閱讀 3165·2021-11-15 11:38
閱讀 2956·2021-09-22 15:55
閱讀 3680·2021-08-09 13:43
閱讀 2450·2021-07-25 14:19
閱讀 2459·2019-08-30 14:15
閱讀 3452·2019-08-30 14:15
