大数据环境搭建--01 Centos7环境配置

1. 在VMware上安装三台Centos7虚拟机

请参考其他教程,如:http://www.linuxidc.com/Linux/2014-10/108013.htm

2. 配置网路(使用NAT模式)

设置VMware的ip(网关IP),此次将网段设置为192.168.88.0,三台虚拟机的ip分别为201,202,203


Paste_Image.png
Paste_Image.png

将主机上的VMnet8虚拟网卡的ip设置为192.168.88.2

Paste_Image.png

3. 设置虚拟机静态ip

此处以201为例,使用root身份登录系统,使用vim打开配置文件/etc/sysconfig/network-scripts/ifcfg-ens33,将内容修改如下:

TYPE="Ethernet"
BOOTPROTO="static" #将dhcp改为static
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="8ae181fb-3e3e-4167-a157-687f2f1c71f4"
DEVICE="ens33"
ONBOOT="yes" #开机启用本配置
IPADDR=192.168.88.201 #静态IP地址
GATEWAY=192.168.88.1 #网管地址
NETMASK=255.255.255.0 #子网掩码
DNS1=192.168.88.1 #DNS设置为网管一样

重启虚拟机即可生效

4. 设置虚拟机主机名

我们将主机名命名为以cluster+ip后缀的形式,此处三台依次为:
192.168.88.201 cluster201
192.168.88.202 cluster202
192.168.88.203 cluster203
此处以201为例,查看当前主机名:

[root@localhost ~]# hostname
localhost.localdomain
# 修改hostname,这种修改方式重启后会失效
[root@localhost ~]# hostname cluster201
[root@localhost ~]# hostname
cluster201

使用vim打开/etc/hostname文件,将内容修改如下:

cluster201

可重启一下虚拟机

5. 修改hosts文件

三台虚拟机执行同样的操作,使用vim打开/etc/hosts文件,在文件末尾增加如下内容:

192.168.88.201 cluster201
192.168.88.202 cluster202
192.168.88.203 cluster203

6. 设置ssh免密登录

此处以201和root用户为例,在201上要用root用户免密登录到202与203上,其他用户与IP虚拟机类似
在201上生成key:

# 执行如下命令生成key,一路回车即可
[root@cluster201 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
ed:5f:6f:e0:84:a7:a4:4c:97:0a:e9:8e:a4:56:17:2c root@cluster201
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|                 |
|       .         |
|      E o.       |
|       .So.  o   |
|      . +.. = +  |
|     ..o +.= =.. |
|    .o .. +......|
|   .. ...   .  ..|
+-----------------+
#查看~/.ssh目录下生成了两个文件
[root@cluster201 ~]# ls .ssh/
id_rsa  id_rsa.pub
# 将公钥放入目标机器后执行,第一次ssh到202,此时就不需要密码了
[root@cluster201 ~]# ssh cluster202
The authenticity of host 'cluster202 (192.168.88.202)' can't be established.
ECDSA key fingerprint is 7c:1f:06:3d:19:63:3a:c2:79:19:3f:02:ed:f7:49:cd.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'cluster202,192.168.88.202' (ECDSA) to the list of known hosts.
Last login: Thu Jun  1 17:39:52 2017 from 192.168.88.2
[root@cluster202 ~]# 

将公钥放入到登录的目标机器上(202,203):
将生成key的机器上的/.ssh/id_rsa.pub内容追加到目标机器的/.ssh/authorized_keys的最后一行,
然后把三台机器 .ssh/ 文件夹权限改为700,authorized_keys文件权限改为600(or 644)

[root@cluster201 ~]$ chmod 700 .ssh
[root@cluster201 ~]$ chmod 600 .ssh/authorized_keys

7. 安装JAVA环境

请参考:http://www.jianshu.com/p/288cf1bc3096

8. 添加hadoop用户,设置免密登录,添加应用安装目录/opt/bigdata

[root@cluster201 ~]# adduser hadoop
# 比如讲秘密设置为123456
[root@cluster201 ~]# passwd hadoop
更改用户 hadoop 的密码 。
新的 密码:
无效的密码: 密码少于 8 个字符
重新输入新的 密码:
passwd:所有的身份验证令牌已经成功更新。
# 免密登录参考6
#新建应用安装目录,并修改权限
[root@cluster202 ~]# mkdir /opt/bigdata
[root@cluster202 ~]# chown hadoop /opt/bigdata
[root@cluster202 ~]# chgrp hadoop /opt/bigdata
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,012评论 4 359
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,589评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 106,819评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,652评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,954评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,381评论 1 210
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,687评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,404评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,082评论 1 238
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,355评论 2 241
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,880评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,249评论 2 250
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,864评论 3 232
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,007评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,760评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,394评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,281评论 2 259

推荐阅读更多精彩内容

  • 名词延伸 通俗的说,域名就相当于一个家庭的门牌号码,别人通过这个号码可以很容易的找到你。如果把IP地址比作一间房子...
    杨大虾阅读 20,382评论 2 57
  • 目前能ping通的IP:216.58.193.51 59.18.44.245 59.18.44.53 59.18....
    StevenZack阅读 1,197评论 0 0
  • 之前的有点忘记了,这里在云笔记拿出来再玩玩.看不懂的可以留言 大家可以尝试下Ambari来配置Hadoop的相关环...
    HT_Jonson阅读 2,880评论 0 50
  • 1、第八章 Samba服务器2、第八章 NFS服务器3、第十章 Linux下DNS服务器配站点,域名解析概念命令:...
    哈熝少主阅读 3,633评论 0 10
  • 昨晚发了一篇日志,是关于四月的一些琐事,有公众号,有收到的信,有兼职。 阿萍说,我从南京回来了。晚安! 倩倩说,明...
    超酷的阿婷阅读 176评论 0 0