Linux 下搭建 Hive 環境

作者：Grey

原文地址：

部落格園：Linux 下搭建 Hive 環境

CSDN：Linux 下搭建 Hive 環境

前置工作

首先，需要先完成

Linux 下搭建 Kafka 環境

Linux 下搭建 Hadoop 環境

Linux 下搭建 HBase 環境

本文基於上述三個環境已經搭建完成的基礎上進行 Hive 的搭建工作。

Hive 版本：2.2.0

如果使用的軟體版本不一致，請以官方搭建檔案為準。

此外，需要準備一個 MySQL 伺服器，我這裡準備的 MySQL 伺服器 IP 是：192.168.100.129，埠是 3306。

MySQL 的安裝參考：CentOS 7 下安裝 MySQL 8.x

這裡用的 MySQL 版本是：5.7.40

下載地址

注：目前這個版本的 Hive，用 MySQL 5.7 版本不會報錯，用MySQL 8.0 版本會報錯，

MySQL 的 Connector 版本是：5.1.40

下載地址

注：確保 master 伺服器可以存取這個 MySQL 伺服器上的 MySQL 服務。，如果用的 MySQL 版本不同，對應的 Connector 需要下載可適配 MySQL 版本的。

安裝步驟

Hive 安裝在 master 節點上，

將下載好的 Hive 安裝包和 MySQL 對應的 Connector 包上傳到 /datalake 目錄下

apache-hive-2.2.0-bin.tar.gz

mysql-connector-java-5.1.40.tar.gz

解壓這幾個安裝包

cd /datalake

tar -zxvf apache-hive-2.2.0-bin.tar.gz

將解壓的軟體移動到 /usr/local 目錄

cd /datalake

mv apache-hive-2.2.0-bin /usr/local/hive

設定環境變數

vi /etc/profile

將 Hive 新增到環境變數

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin

應用環境變數

source /etc/profile

解壓 MySQL 的 Connector 包

tar -xzvf mysql-connector-java-5.1.40.tar.gz

將 Connector 的 jar 拷貝到 Hive 的 lib 目錄中

cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib/

修改 Hive 的組態檔

cd $HIVE_HOME/conf && cp hive-default.xml.template hive-site.xml

將 hive-site.xml 的內容設定為

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.100.129:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>dump</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>1234</value>
    </property>
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <property>
        <name>datanucleus.schema.autoCreateAll</name>
        <value>true</value>
    </property>
</configuration>

注：以上設定根據你自定義的 MySQL 來設定，例如使用者名稱密碼和連線資訊。

啟動 Hive，執行

hive

檢視資料庫，已經新建出 Schema

測試一下，在 hive 中執行如下命令建立一個表

CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

建立成功並檢視這個表的資訊

存取：http://192.168.100.130:50070/explorer.html

可以檢視建立的 t2 表資訊