Ubuntu 18.04 安装 Hadoop系统环境

安装ubuntu-server系统

安装系统

选择系统语言-English

1.png

键盘设置-Chinese

2.png

选择操作Install ubuntu

3.png

设置网络(这里选择默认)

4.png

选择Done

5.png
6.png

文件系统设置-选择使用整个磁盘

7.png

选择磁盘

8.png

选择Done

9.png

选择继续Continue

10.png

配置文件设置

11.png
12.png

正在安装

13.png

Reboot Now

14.png
15.png
16.png

安装ssh环境

配置root用户密码

修改root用户的初始密码

sudo passwd
17.png

退出当前用户,使用root登陆系统。

关闭防火墙

关闭防火墙

systemctl stop firewalld.service

开机不启动防火墙

systemctl disable firewalld.service

查看防火墙状态

ufw status

inactive状态是防火墙关闭状态,active是开启状态。

配置root用户远程连接

(注:装了ssh-server,如果未安装,请先安装)

apt-get install openssh-server

修改sshd_config

vim /etc/ssh/sshd_config

找到

# Authentication:
LoginGraceTime 120
PermitRootLogin without passwd
StrictModes yes

改成

# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

然后重启SSH服务即可。

重启过后通过shell连接:

18.png

设置ssh localhost 免密码登录

ssh localhost
exit

输入密码登录本机和退出本机

19.png

在进行了初次登陆后,会在当前家目录用户下有一个.ssh文件夹,进入该文件夹下:

cd ~/.ssh/

使用rsa算法生成秘钥和公钥对:

ssh-keygen -t rsa
20.png

运行后一路回车就可以了,其中第一个是要输入秘钥和公钥对的保存位置,默认是在:

.ssh/id_rsa

然后把公钥加入到授权中:

cat ./id_rsa.pub >> ./authorized_keys

再次ssh localhost的时候就可以无密码登陆了。

安装jdk

解压jdk

创建一个java的文件夹,用户存放Java文件

mkdir /usr/local/java

通过ftp工具把下载好的jdk安装包上传到java文件夹下。

21.png

解压:

cd /usr/local/java
tar -vxzf jdk-8u181-linux-x64.tar.gz

解压成功后会在当前目录下看到:

jdk1.8.0_181文件夹

然后删除安装包:

rm jdk-8u181-linux-x64.tar.gz

配置jdk

设置环境变量:

vim /etc/profile

在末尾添加:

JAVA_HOME=/usr/local/java/jdk1.8.0_181
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH

重新加载环境变量的配置文件:

source /etc/profile

检测:

java -version
22.png

安装Hadoop

解压hadoop

创建一个hadoop的文件夹,用户存放hadoop文件

mkdir /usr/local/hadoop

通过ftp工具把下载好的hadoop安装包上传到hadoop文件夹下。

解压:

cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz

解压完成:

23.png

移动hadoop-2.7.7文件下的文件到当前的目录

mv ./hadoop-2.7.7/* ./

删除hadoop-2.7.7文件夹

rm -rf ./hadoop-2.7.7

查看文件夹的所有者以及用户组,最重要的是拥有者是否是当前用户

24.png

如果拥有者不是当前用户,则修改为当前用户:

sudo chown -R 当前用户名 ./hadoop

配置hadoop

设置环境变量:

vim /etc/profile

在末尾添加:

JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME

重新加载环境变量的配置文件:

source /etc/profile

检测:

hadoop version
25.png

修改配置文件

在core-site.xml 中添加

<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
 </property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>
26.png

在 hdfs-site.xml 中添加

<property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
    <description>datanode上数据块的物理存储位置</description>
</property>

<!-- 设置hdfs副本数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
27.png

在 hadoop-env.sh 中更改 JAVA_HOME

注释掉:

export JAVA_HOME=${JAVA_HOME}

添加:

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

测试,启动

格式化namenode:

hadoop namenode -format
28.png

启动hdfs

start-all.sh
29.png

查看相应的进程:

jps
30.png

确定5个进程全部启动。

访问测试:

10.168.1.129:50070
31.png

设置开机启动

进入/etc/init.d/目录下

cd /etc/init.d/

创建文件hadoop

vim hadoop

写入开机启动相关的脚本内容

#!/bin/bash
#
# chkconfig: 2345 88 33
# description: Starts and stops Hadoop server

### BEGIN INIT INFO
# Required-Start:
# Required-Stop:
# Default-Start:        2 3 4 5
# Default-Stop:         0 1 6
# Short-Description:    Starts and stops Hadoop server
# Description:          Starts and stops Hadoop server
### END INIT INFO

start(){
    #
    # Start Hadoop
    #
    /usr/local/hadoop/sbin/start-all.sh
}
stop(){
    #
    # Stop Hadoop
    #
    /usr/local/hadoop/sbin/stop-all.sh
}

case "$1" in
    start)
        start
        exit $?
    ;;

    stop)
        stop
        exit $?
    ;;

    restart)
        #
        # Restart Hadoop
        #
        stop
        sleep 5
        start
        exit $?
    ;;

*)
echo "Usage hadoop start/stop/restart"
exit 1;;
esac

设置文件权限

chmod +x hadoop

添加到服务中

update-rc.d -f hadoop defaults

测试

service hadoop start

查看服务是否启动成功

jps
7.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,569评论 4 363
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,499评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,271评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,087评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,474评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,670评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,911评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,636评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,397评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,607评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,093评论 1 261
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,418评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,074评论 3 237
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,092评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,865评论 0 196
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,726评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,627评论 2 270

推荐阅读更多精彩内容

  • 文:瑜之初心 上篇文章大家都看了并评估了自己的胸椎活动度了吗?接下来就直接上干货,8个体式,讲解加动图,坚持练下来...
    瑜之初心阅读 1,724评论 1 7
  • 不看朋友圈,估计今天也是这个主题。我是打卡了才知道,今天是高考日。 远现在初一,五年后的今天,我还能如此淡定么?2...
    心理咨询师萍阅读 434评论 8 7
  • 关于昨天,我想说的是 一地的秋风掩埋了落叶 蚂蚁在枯萎的路上 寻找零碎的月光 我在一片蛙鸣中 搜索青春的迷茫—— ...
    万里西风烈阅读 854评论 11 11