掃一掃
服務(wù)近2000家企業(yè)，依托一系列實(shí)踐中打磨過(guò)的技術(shù)和產(chǎn)品，根據(jù)企業(yè)的具體業(yè)務(wù)問(wèn)題和需求，針對(duì)性的提供各行業(yè)大數(shù)據(jù)解決方案。
spark hive整合安裝
來(lái)源：未知 時(shí)間：2019-56-18 瀏覽次數(shù)：152次
1.hadoop安裝參考相關(guān)文檔
2.spark安裝
1）下載解壓（須編譯，編譯步驟詳見(jiàn)4）
2）配置環(huán)境變量
3）cd 到spark安裝目錄cp conf/spark-env.sh.template conf /spark-env.sh
vi conf/spark-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_141
export SCALA_HOME=/usr/scala-2.11.7
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.2/etc/hadoop
export SPARK_MASTER_IP=SparkMaster
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
4）vi conf/slaves
在最后面寫(xiě)上IP地址或主機(jī)名
5）啟動(dòng)hadoop的文件系統(tǒng)start-dfs.sh
6）啟動(dòng)spark start-all.sh
3.hive 安裝
1）下載hive（版本任意但spark版本需要從hive安裝版對(duì)應(yīng)的源碼版本中查）
2）解壓，配置環(huán)境變量
3）hive與hadoop整合vim hive-env.sh 在最后加入HADOOP_HOME=hadoophomedir
4）配置cp hive-default.xml.template hive-site.xml vim hive-site.xml
5.復(fù)制mysql的驅(qū)動(dòng)程序到hivehome/lib下面mysql-connector-java-5.1.18-bin.jar
6).拷貝hive-site.xml到spark/conf下（這點(diǎn)非常關(guān)鍵）
初始化元數(shù)據(jù)、cd hivehome/bin
執(zhí)行 schematool -initSchema -dbType mysql
需提前在mysql中創(chuàng)建庫(kù)
7)hive進(jìn)入客戶(hù)端
hive>set hive.execution.engine=spark; (將執(zhí)行引擎設(shè)為Spark，默認(rèn)是mr，退出hive CLI后，回到默認(rèn)設(shè)置。若想讓引擎默認(rèn)為Spark，需要在hive-site.xml里設(shè)置）
hive>create table test(ts BIGINT,line STRING); (創(chuàng)建表）
hive>select count(*) from test;
若無(wú)報(bào)錯(cuò)則OK
4.spark編譯
1)查看spark版本，需要下載hive對(duì)應(yīng)的源碼并在pom文件中查看兼容的spark版本，到官網(wǎng)下載對(duì)應(yīng)源碼
2）環(huán)境安裝，須安裝scala，maven3.3.9以上版本
3）如果hadoop是cdh版本需要在spark源碼的pom中加入如下，須本地檢測(cè)，直接刪帖會(huì)報(bào)錯(cuò)
<repository>
<id>cloudera</id>
<name>cloudera Repository</name>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
4）修改make-distribution.sh
在使用這個(gè)方式編譯的時(shí)候，根據(jù)查看里面的代碼，它會(huì)去確認(rèn)scala,hadoop等的版本信息，這個(gè)動(dòng)作會(huì)花費(fèi)較長(zhǎng)的時(shí)間。為了不長(zhǎng)時(shí)間卡在這里，我們直接指定版本信息。先將上面的代碼注釋掉，然后在后面添加指定信息。其中VERSION為spark的版本。SPARK_HIVE=1為支持hive的意思。
5）修改spark源碼的pom文件
<useZincServer>true</useZincServer> 屬性，將值改為false
6）運(yùn)行下列命令編譯
./dev/./make-distribution.sh --name 2.6.0-cdh5.13.0 hive --tgz -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.13.0 -Phive -Phive-thriftserver -DskipTests
- 上一篇: mysql在線(xiàn)保持腳本
- 下一篇: Centos系統(tǒng)安裝配置MongoDB4x