一、 虚拟机环境准备

1）准备三台虚拟机，虚拟机配置要求如下：

（1）单台虚拟机：内存 4G，硬盘 50G

（2）修改克隆虚拟机的静态 IP

[root@hadoop101~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
PREFIX=24
IPADDR=192.168.10.101
GATEWAY=192.168.10.2
DNS1=192.168.10.2

（3）查看 Linux 虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

image.png

image.png

image.png

（5）查看 Windows 系统适配器 VMware Network Adapter VMnet8 的 IP 地址

（6）保证 Linux 文件中 IP 地址、Linux 虚拟网络编辑器地址和 Windows 系统 VM8 网络 IP 地址相同。

2）修改主机名

（1）修改主机名称

[root@hadoop101~]# hostnamectl --static set-hostname hadoop101

（2）配置主机名称映射，打开/etc/hosts

[root@hadoop101~]# vim /etc/hosts

添加如下内容

192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103

（3）修改 Windows 的主机映射文件（hosts 文件）

（a）进入 C:\Windows\System32\drivers\etc 路径

（b）打开 hosts 文件并添加如下内容

192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103

3）关闭并禁用防火墙

[root@hadoop101~]# systemctl stop firewalld
[root@hadoop101~]# systemctl disable firewalld

4）配置普通用户（yobhel）具有 root 权限

[root@hadoop101~]# vim /etc/sudoers

修改/etc/sudoers 文件，找到下面一行（102 行），在%wheel 下面添加一行：

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
%wheel  ALL=(ALL)       ALL
yobhel   ALL=(ALL)     NOPASSWD: ALL

5）在/opt 目录下创建文件夹

（1）在/opt 目录下创建 module、software 文件夹

[root@hadoop101opt]# mkdir /opt/module /opt/software

（2）修改 module、software 文件夹的所有者

[root@hadoop101opt]# chown yobhel:yobhel /opt/module /opt/software

6）重启

[root@hadoop101 module]# reboot

二、集群分发脚本编写

2.1 编写集群分发脚本 xsync

1）scp（secure copy）安全拷贝

（1）scp 定义：

scp 可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

（2）基本语法

scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname

命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

（3）案例实操

（a）在 hadoop101 上，将 hadoop101 中/opt/module 目录下的软件拷贝到 hadoop102 上。

[yobhel@hadoop101~]$ scp -r /opt/module/*  yobhel@hadoop102:/opt/module

（b）在 hadoop103 上，将 hadoop101 服务器上的/opt/module 目录下的软件拷贝到 hadoop103 上。

[yobhel@hadoop103 opt]$ scp -r yobhel@hadoop101:/opt/module/* yobhel@hadoop103:/opt/module

注意：拷贝过来的/opt/module 目录，别忘了在 hadoop101、hadoop102、hadoop103 上修改所有文件的，所有者和所有者组。sudo chown yobhel:yobhel -R /opt/module

2）rsync 远程同步工具

rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。

（1）基本语法

rsync -av  $pdir/$fname $user@hadoop$host:$pdir/$fname

命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

选项参数说明

（2）案例实操

（a）将 hadoop101 中/etc/profile.d/my_env.sh 文件拷贝到 hadoop102 的/etc/profile.d/my_env.sh 上。

[yobhel@hadoop101 ~]$ sudo rsync -av /etc/profile.d/my_env.sh root@hadoop102:/etc/profile.d/my_env.sh

（b）将 hadoop101 中/etc/profile.d/my_env.sh 文件拷贝到 hadoop102 的/etc/profile.d/my_env.sh 上。

[yobhel@hadoop101 ~]$ sudo rsync -av /etc/profile.d/my_env.sh root@hadoop103:/etc/profile.d/my_env.sh

注意：拷贝过来的配置文件别忘了 source 一下/etc/profile.d/my_env.sh。

3）xsync 集群分发脚本

（1）需求：循环复制文件到所有节点的相同目录下

（2）需求分析：

（a）rsync 命令原始拷贝：

rsync -av /opt/module root@hadoop102:/opt/

（b）期望脚本：

xsync 要同步的文件名称

（c）说明：在/home/yobhel/bin 这个目录下存放的脚本，yobhel 用户可以在系统任何地方直接执行。

（3）脚本实现

（a）在用的家目录/home/yobhel 下创建 bin 文件夹

[yobhel@hadoop101 ~]$ mkdir bin

（b）在/home/yobhel/bin 目录下创建 xsync 文件，以便全局调用

[yobhel@hadoop101 ~]$ cd /home/yobhel/bin
[yobhel@hadoop101 ~]$ vim xsync

在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop101 hadoop102 hadoop103
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

（c）修改脚本 xsync 具有执行权限

[yobhel@hadoop101 bin]$ chmod +x xsync

（d）测试脚本

[yobhel@hadoop101 bin]$ xsync xsync

2.2 SSH 无密登录配置

1）配置 ssh

（1）基本语法

ssh 另一台电脑的 IP 地址

（2）ssh 连接时出现 Host key verification failed 的解决方法

[yobhel@hadoop101 ~]$ ssh hadoop102

出现：

The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.
RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?

（3）解决方案如下：直接输入 yes

2）无密钥配置

（1）免密登录原理

image.png

（2）生成公钥和私钥：

[yobhel@hadoop101 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

（3）将公钥拷贝到要免密登录的目标机器上

[yobhel@hadoop101 .ssh]$ ssh-copy-id hadoop101
[yobhel@hadoop101 .ssh]$ ssh-copy-id hadoop102
[yobhel@hadoop101 .ssh]$ ssh-copy-id hadoop103

注意：

还需要在 hadoop101 上采用 root 账号，配置一下无密登录到 hadoop101、hadoop102、hadoop103；

还需要在 hadoop102 上采用 yobhel 账号配置一下无密登录到 hadoop101、hadoop102、hadoop103 服务器上。

3）.ssh 文件夹下（~/.ssh）的文件功能解释