Hive 托管Hadoop集群 UHadoop

ernest.wang 發(fā)布于2022-07-12 17:30 / 3079人閱讀

摘要：執(zhí)行語(yǔ)句時(shí)，任務(wù)內(nèi)存不足怎么辦執(zhí)行語(yǔ)句時(shí)，任務(wù)內(nèi)存不足怎么辦執(zhí)行語(yǔ)句時(shí)，任務(wù)內(nèi)存不足怎么辦如果在日志文件中看到出現(xiàn)錯(cuò)誤，可以通過(guò)等來(lái)增大或可以使用的內(nèi)存數(shù)。

Hive

本篇目錄

Hive執(zhí)行sql任務(wù)太慢，是否可以支持hive on spark？執(zhí)行SQL語(yǔ)句時(shí)，map/reduce任務(wù)內(nèi)存不足怎么辦？hive-server2 通過(guò)jdbc提交任務(wù)的時(shí)候報(bào)文件權(quán)限不足執(zhí)行sql時(shí)速度很慢怎么辦？

Hive執(zhí)行sql任務(wù)太慢，是否可以支持hive on spark？

UHadoop暫時(shí)未支持hive on spark，但可通過(guò)使用Spark-sql代替，或者啟用Spark-thriftserver，通過(guò)beeline進(jìn)行連接。

執(zhí)行SQL語(yǔ)句時(shí)，map/reduce任務(wù)內(nèi)存不足怎么辦？

如果在日志文件中看到出現(xiàn)running beyond physical memory limits錯(cuò)誤，可以通過(guò)

set mapreduce.map.memory.mb=XXX
set mapreduce.reduce.memory.mb=XXX

等來(lái)增大map或reduce可以使用的內(nèi)存數(shù)。如果多個(gè)任務(wù)都出現(xiàn)這個(gè)情況，可以在/home/hadoop/hive/conf/hive-site.xml里加入配置

hive-server2 通過(guò)jdbc提交任務(wù)的時(shí)候報(bào)文件權(quán)限不足

可以在連接hive的時(shí)候使用hadoop用戶，以java代碼為例：

Connection con = DriverManager.getConnection("jdbc:hive2://ip:10000/default", "hadoop", "");

執(zhí)行sql時(shí)速度很慢怎么辦？

Hive默認(rèn)的優(yōu)化策略是對(duì)select這種簡(jiǎn)單操作，并不會(huì)啟動(dòng)map任務(wù)。可以通過(guò)在命令中指定hive.fetch.task.conversion=none這個(gè)參數(shù)，或者配置在/home/hadoop/hive/conf/hive-site.xml中來(lái)強(qiáng)制制啟動(dòng)map任務(wù)。

舉例：

hive -e "set hive.fetch.task.conversion=none;select * from spark_testtable;"

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/127020.html

相關(guān)文章

元數(shù)據(jù)管理托管Hadoop集群 UHadoop

摘要：架構(gòu)架構(gòu)元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時(shí)可在控制臺(tái)開(kāi)啟元數(shù)據(jù)獨(dú)立管理。若項(xiàng)目中已開(kāi)啟過(guò)元數(shù)據(jù)獨(dú)立管理，則新集群開(kāi)啟該功能時(shí)，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲(chǔ)于已有的中。元數(shù)據(jù)管理本篇目錄介紹產(chǎn)品架構(gòu)元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫(kù)獨(dú)立于 Hadoop 集群部署，也支持多個(gè)集群訪問(wèn)同一個(gè) Hive 元數(shù)據(jù)庫(kù)，可在控制臺(tái)對(duì)其做管理。產(chǎn)品...

ernest.wang 2022-07-12 17:38 評(píng)論0 收藏2953
托管Hadoop集群快速上手 UHadoop

摘要：也可以將托管集群設(shè)置為快捷方式，通過(guò)左側(cè)快捷方式菜單欄點(diǎn)擊進(jìn)入。框架集群中僅部署。用于做存儲(chǔ)集群，有專屬的節(jié)點(diǎn)機(jī)型。節(jié)點(diǎn)管理節(jié)點(diǎn)，負(fù)責(zé)協(xié)調(diào)整個(gè)集群服務(wù)。目前僅節(jié)點(diǎn)支持綁定。通過(guò)云主機(jī)內(nèi)網(wǎng)進(jìn)行登錄。登錄密碼為集群創(chuàng)建時(shí)設(shè)置的密碼。快速上手本篇目錄創(chuàng)建集群提交任務(wù)本文檔將帶領(lǐng)您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務(wù)。創(chuàng)建集群本章簡(jiǎn)單介紹了用戶使用UHadoop服務(wù)...

ernest.wang 2022-07-12 17:31 評(píng)論0 收藏295
Hue開(kāi)發(fā)指南托管Hadoop集群 UHadoop

摘要：創(chuàng)建任務(wù)創(chuàng)建任務(wù)選擇這個(gè)標(biāo)簽拖動(dòng)到中。頁(yè)面權(quán)限控制頁(yè)面權(quán)限控制頁(yè)面權(quán)限控制點(diǎn)擊管理用戶組選擇要修改的組名稱，設(shè)置相應(yīng)權(quán)限并保存 Hue開(kāi)發(fā)指南本篇目錄1. 配置工作流2. Hue頁(yè)面權(quán)限控制Hue是面向 Hadoop 的開(kāi)源用戶界面，可以讓您更輕松地運(yùn)行和開(kāi)發(fā) Hive 查詢、管理 HDFS 中的文件、運(yùn)行和開(kāi)發(fā) Pig 腳本以及管理表。服務(wù)默認(rèn)已經(jīng)啟動(dòng)，用戶只需要配置外網(wǎng)IP，在防火墻中配...

ernest.wang 2022-07-12 17:04 評(píng)論0 收藏1340
托管Hadoop集群-故障排查 UHadoop

摘要：集群運(yùn)行慢時(shí)，通常會(huì)在日志中可以查找到明顯的異常，或者花費(fèi)時(shí)間長(zhǎng)的操作。檢查集群節(jié)點(diǎn)的運(yùn)行狀態(tài)檢查集群節(jié)點(diǎn)的運(yùn)行狀態(tài)管理群集上部署的各種服務(wù)。如果主節(jié)點(diǎn)遇到性能問(wèn)題，整個(gè)群集都會(huì)受到影響。工作的不均衡分配可能會(huì)導(dǎo)致處理速度較慢。故障排查本篇目錄任務(wù)執(zhí)行失敗排查工具故障描述集群運(yùn)行速度慢任務(wù)執(zhí)行失敗1.查看console輸出日志查看任務(wù)執(zhí)行時(shí)控制臺(tái)輸出的log，檢查是否有ERROR2.查看任...

ernest.wang 2022-07-12 17:43 評(píng)論0 收藏2025
端口配置托管Hadoop集群 UHadoop

摘要：端口配置端口配置端口配置配置名默認(rèn)配置節(jié)點(diǎn) 端口配置配置名UHadoop默認(rèn)配置yarn.resourcemanager.zk-addresslocalhost:2181yarn.resourcemanager.address.rm1master1:23140yarn.resourcemanager.address.rm2master2:23140yarn.resourcemanager....

ernest.wang 2022-07-12 17:44 評(píng)論0 收藏2454