7741622360580_.pic_hd.jpg

环境

CentOS 6.8 64位 1核 2GB
JDK 1.7.0_75 64 位
Hadoop 1.1.2
Mysql 5.6.21
Hive 0.12.0

Mysql安装

下载 mysql 安装包

$ wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-server-5.6.21-1.el6.x86_64.rpm
$ wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-client-5.6.21-1.el6.x86_64.rpm
$ wget https://downloads.mysql.com/archives/get/p/23/file/MySQL-devel-5.6.21-1.el6.x86_64.rpm

安装 mysql

$ sudo rpm -ivh MySQL-server-5.6.21-1.el6.x86_64.rpm
$ sudo rpm -ivh MySQL-client-5.6.21-1.el6.x86_64.rpm
$ sudo rpm -ivh MySQL-devel-5.6.21-1.el6.x86_64.rpm

查看 mysql 状态

$ sudo service mysql status

Mysql设置root密码

停止 mysql 服务

$ sudo service mysql stop

跳过验证启动 mysql

$ sudo mysqld_safe --skip-grant-tables

$ mysql -u root
mysql> use mysql;
mysql> update user set password = password('root') where user = 'root';
mysql> flush privileges;
mysql> quit;

重启 mysql

$ sudo service mysql restart

Mysql设置hive用户

设置 hive 用户

# 创建hive用户
mysql> create user 'hive' identified by 'hive';
# 赋予权限
mysql> grant all on *.* TO 'hive'@'%' identified by 'hive' with grant option;
mysql> grant all on *.* TO 'hive'@'localhost' identified by 'hive' with grant option;
# 刷新生效
mysql> flush privileges;
mysql> quit;

使用 hive 用户登录 mysql

$ mysql -uhive -phive -h hadoop
 # 若存在则无需再创建
mysql> create database hive;
# 查看数据库
mysql> show databases;

Hive安装

下载 hive 安装包

$ wget http://archive.apache.org/dist/hive/hive-0.12.0/hive-0.12.0-bin.tar.gz

解压 hive 安装包

$ tar -xzf hive-0.12.0-bin.tar.gz
$ mv hive-0.12.0-bin /app/hive-0.12.0

解压后，将 hive-0.12.0-bin 移动到 /app 目录下

下载 mysql 驱动包

$ wget https://downloads.mysql.com/archives/get/p/3/file/mysql-connector-java-5.1.22.tar.gz

解压 mysql 驱动包

$ tar -xzf mysql-connector-java-5.1.22.tar.gz
$ cp mysql-connector-java-5.1.22/mysql-connector-java-5.1.22-bin.jar /app/hive-0.12.0/lib

解压后，将 mysql-connector-java-5.1.22-bin.jar 复制到 /app/hive-0.12.0/lib 目录下

Hive配置

修改 /etc/profile 文件

$ sudo vi /etc/profile

添加 hive 环境变量

export HIVE_HOME=/app/hive-0.12.0
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:$HIVE_HOME/bin

保存生效

$ source /etc/profile

进入 /app/hive-0.12.0/conf/ 目录

$ cd /app/hive-0.12.0/conf/

复制 hive-env.sh.template 配置文件，命名为 hive-env.sh

$ cp hive-env.sh.template hive-env.sh

修改 hive-env.sh 文件

export HADOOP_HOME=/app/hadoop-1.1.2
export HIVE_CONF_DIR=/app/hive-0.12.0/conf

设置 HADOOP_HOME 和 HIVE_CONF_DIR。

复制 hive-default.xml.template 配置文件，命名为 hive-site.xml

$ cp hive-default.xml.template hive-site.xml

修改 hive-site.xml 文件

# 添加配置项
<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>
# 修改配置项
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://hadoop:9083</value>
  <description>Thrift URI for the remote metastore. ...</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://hadoop:3306/hive?=createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>
<property>
  <name>hive.metastore.schema.verification</name>
  <value>false</value>
  <desc....>
</property>

验证环境

重启 mysql

$ sudo service mysql restart

启动 metastore 和 hiveserver 服务

$ hive --service metastore &
$ hive --service hiveserver &

查看 metastore 和 hiveserver 服务运行状态

$ jps
12662 NameNode
14370 RunJar
12918 SecondaryNameNode
14586 RunJar
13131 TaskTracker
6767 Jps
14008 DataNode
13013 JobTracker

可以看到，两个进程 RunJar 运行在后台，分别对应 metastore 和 hiveserver 服务。

操作 hive

$ hive
# 创建表
hive> create table test(a string, b int);
# 查看表
hive> show tables;
# 查看test表结构
hive> desc test;
# 退出
hive> quit;

操作 mysql

$ mysql -uhive -phive
# 选择hive数据库
mysql> use hive;
# 在TBLS表中查看刚刚新增的test表
mysql> select TBL_ID, CREATE_TIME, DB_ID, OWNER, TBL_NAME,TBL_TYPE from TBLS;
+--------+-------------+-------+--------+----------+---------------+
| TBL_ID | CREATE_TIME | DB_ID | OWNER  | TBL_NAME | TBL_TYPE      |
+--------+-------------+-------+--------+----------+---------------+
|      1 |  1621827317 |     1 | yohann | test     | MANAGED_TABLE |
+--------+-------------+-------+--------+----------+---------------+
1 row in set (0.00 sec)

Hadoop 搭建Hive环境

Hadoop 搭建Hive环境

环境

Mysql安装

Mysql设置root密码

Mysql设置hive用户

Hive安装

Hive配置

验证环境