大数据学习(zookeeper,hbase,hive,sqoop2的搭建)

一、Zookeeper的安装和配置

1.解压文件

2.进入解压目录,配置相关文件

2.1 修改conf文件夹下的zoo_sample.cfg,重命名为zoo.cfg

打开进入,修改Datadir,并添加如下语句

dataDir=/usr/share/zookeeper-3.5.0-alpha/data

dataLogDir=/usr/share/zookeeper-3.5.0-alpha/logs

server.0=Master:2888:3888

server.1=Slave1:2888:3888

server.2=Slave2:2888:3888

记得”3888”后不要有空格!然后我们创建设置的文件夹

最后再在data下创建myid文件,值设为0

最后把主节点的zookeeper复制到从节点,并修改myid分别为1, 2

2.2 启动zookeeper集群

移动到解压目录下的bin文件夹

在三个节点上执行./zkServer.sh start

最后用./zkServer.sh status命令查看

三个节点查看后,一共两个follower,一个leader,配置成功。(leader不一定是在master上,因为它有自己的选举机制)



二、Hbase的安装与配置

Hbase是一种非关系型数据库,NoSQL,但其实是有两种解释的:not sql 和 not only sql,怎么说呢,应该是介于两者之间的。NoSQL的特点是使用键值对存储数据和分布式,并且读写性能很高,适合我们大数据下的工作。接下来是具体的配置过程。

1.解压文件

2.为.bashrc文件添加环境变量

然后source一下

1.进入解压目录下的conf文件,配置相关信息

3.1 编辑hbase-site.xml,添加如下信息

其中hbase.rootdir端口必须与你的Hadoop集群的core-site.xml文件配置保持完全一致

(这里的Mastre打错了,应该是Master)

3.2 编辑hbase-env.sh,在末尾添加如下

因为hbase运行在zookeeper的基础之上,这个东西就是告诉它我们配置了zookeeper,你用我们配置的,而不是你自带的。

3.3 编辑regionservers,添加从节点

4.通过scp命令把hbase发送到从节点上,并为从节点配置环境变量

5.先启动hadoop,然后再启动zookeeper集群

6.进入hbase文件bin目录下,执行 ./start-hbase.sh

再用jps命令分别查看主节点和从节点,启动成功。


三、Hive的安装与配置

Hbase是一种数据库,而Hive则是一种数据仓库,建立在Hadoop的基础上,提供了一系列工具可供数据的提取转化和加载,这是一种的存储、查询、分析存储在Hadoop中的大规模数据的机制。

具体安装流程如下:

1.解压,设置环境变量并随手source一下

2.进入hadoop目录下,修改etc下的配置文件hadoop-env.sh,添加如下

3.进入解压目录的conf文件夹下

3.1 把hive-default.xml.template重名命为hive-site.xml

3.2 把hive-env.sh.template重命名为hive-env.sh,并添加如下内容

4.进入解压目录的bin文件夹下,修改hive-config.sh文件

4.接下来是和MySQL的连接(之前已经安装好了)

5.1先从官网上下载驱动包

将mysql-connector-java-5.1.43-bin.jar包解压到hive目录下的lib文件夹中

5.2修改 conf文件夹下的hive-site.xml文件,只需修改如下四个点

这一个value值为你root下MySQL的真实密码

*5.3 有些可能还需要修改另三个属性hive.exec.scratchdir,hive.exec.local.scratchdir,hive.downloaded.resources.dir,把他们的值设置为绝对路径,否则后面启动会出错

6.通过mysql给hive权限,登录mysql

5.1执行

GRANT ALL PRIBILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '**your password**' WITH GRANT OPTION;

flush privileges;

select user,host from mysql.user;

6.2修改/etc/mysql/mysql.conf.d/mysqld.cnf 文件,注释掉如下这一行

6.3 重启mysql服务sudo /etc/init.d/mysql restart

7.启动hadoop,再进入hive进行操作

执行hive

执行CREATE TABLE test2(id int,name string); 创建一个新表

执行SHOW TABLES; 可以看到我们创建的表已经在里面了


四、Sqoop 1.99.7的安装与配置

Sqoop是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。

1.解压,设置环境变量并随手source一下

2.进入解压目录下的conf文件夹下

2.1 配置sqoop.properties

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/ubuntu17/hadoop-3.0.0-alpha4/etc/hadoop

org.apache.sqoop.security.authentication.type=SIMPLE

org.apache.sqoop.security.authentication.handler=org.apache.sqoop.security.authentication.SimpleAuthenticationHandler

org.apache.sqoop.security.authentication.anonymous=true

3.配置Hadoop代理访问

找到Hadoop的core-site.xml配置文件

这里的ubuntu17是指你用什么用户在访问,如果你使用root的话,就把ubuntu17修改为root

4.配置驱动文件

一般我们使用的数据库驱动包都没有随着Sqoop一起释出,多半是因版权问题,所以将这些包放置在这个第三方组件下。再在配置一个SQOOP_SERVER_EXTRA_LIB系统变量即可,指定路径为$SQOOP_HOME/extra,最后把mysql的驱动jar文件复制到这个目录下。

5.启动sqoop服务

在解压目录的bin文件夹下执行

./sqoop2-tool upgrade

./sqoop2-tool verify

./sqoop2-server start

出现了SqoopJettyServer则成功。

6.执行

sqoop2-tool upgrade  初始化

sqoop2-tool verify  检查是否配置正确

sqoop2-shell 进入shell操作界面



至此结束,如果有错误的话欢迎指出(~ ̄▽ ̄)~


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,026评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,655评论 1 296
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,726评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,204评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,558评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,731评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,944评论 2 314
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,698评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,438评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,633评论 2 247
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,125评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,444评论 3 255
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,137评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,103评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,888评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,772评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,669评论 2 271

推荐阅读更多精彩内容