内网环境集群主机的时间同步

应用场景

在解决内网环境集群主机的时间同步问题时,遇到了ntp的错误no server suitable for synchronization found,之前在生产环境也遇到过这个错误,为彻底解决这个小问题,查阅了鸟哥的NTP服务器一篇,对比了网上的一些解决方案,按作为服务端和用户端的应用场景分别进行了梳理。

在实际生产环境中,我们的集群主机通常都是部署在内网环境中,这又分两种情况,一种是在整个生产环境中,有一台或少数主机可以和公网连通,一种是整个集群主机都在内网。有些分布式的应用对主机的时间同步要求比较高,那么,我们如何做到集群主机间的时间同步呢?

本文约定,上级NTP服务器为xxx.ntp.server,集群中提供NTP服务的主机为192.168.169.100。进行NTP同步的用户端主机为(192.168.169.101、192.168.169.102)。

集群主机时间同步思路

首先明确两个时间的概念:软体时间(Linux系统时间)是Linux操作系统根据1970/01/01 00:00:00开始计算的总秒数,可用date +%s查看,硬体时间(BIOS时间)是硬件系统上面的时间,例如BIOS记录的时间,可用hwclock -r查看。由于BIOS内部芯片的问题,导致BIOS与标准时间(UTC)有一点点的差异存在,长时间运行后,累积的时间偏差会很大,所以时间同步的工作就很重要了。

那么怎么让我们集群内所有的主机时间同步呢?

  • 选择一部主机作为服务端,这部主机可与公网连通,让这个服务端主机的时间与它的上级时间同步服务器的时间同步,这个上级也是向上一层一层传递的,我们选择国内主流的NTP Server进行同步即可,假设公网的NTP Server为xxx.ntp.server。
  • 一种可能的情况是,它的上级不存在,即集群内所有主机都在内网,那么可以选择其中一台主机作为服务端部署NTP服务,其他主机与这台NTP服务器同步即可,实现集群主机的时间同步。
  • 开放网络服务让客户端连接,让客户端根据服务端时间调整自己的时间,使集群内的客户端的时间都与服务端一致,这样就达到集群的主机时间同步。

NTP服务的部署

所需软件安装yum install -y ntp ntpdate。服务主要的配置文件在/etc/ntp.conf

应用场景1,集群环境有公网主机,可与上级NTP服务器xxx.ntp.server连通,

  • 有上层NTP服务器,xxx.ntp.server。
  • 不对公网提供服务,仅允许内部网192.168.169.0/24查询。
  • 检测BIOS时间与Linux系统的时间差异并写入/var/lib/ntp/drift

服务端主机(192.168.169.100)设置如下,

vi /etc/ntp.conf

# 放行上级NTP服务器
restrict xxx.ntp.server # 放行xxx.ntp.server进入本NTP服务器

# 放行局域网来源
restrict 192.168.169.0 mask 255.255.255.0 nomodify # 用戶端不能使用ntpc和ntpq 這兩个命令來修改服务器的时间参数, 但用戶端仍可通过这部主机进行网络较时。

# 设定上级NTP服务器来源,将配置文件原来的[0|1|2|3].centos.pool.ntp.org注释掉
server xxx.ntp.server prefer # 以这部主机优先

driftfile /var/lib/ntp/drift # 预设时间差异分析,不需修改
# NTP启动与开机启动
service ntpd start
chkconfig ntpd on

NTP的启动与观察

# 观察ntpd服务状态
[hadoop@hadoopmaster ~]$ service ntpd status
ntpd is stopped
[hadoop@hadoopmaster ~]$ chkconfig --list | grep ntp
ntpd            0:off   1:off   2:off   3:off   4:off   5:off   6:off
ntpdate         0:off   1:off   2:off   3:off   4:off   5:off   6:off
# 启动与设置开机启动
service ntpd start/stop/restart # 启动/停止/重启
chkconfig ntpd on/off # 开机启动开启/关闭
# 观察服务启动端口
netstat -tlunp | grep ntp
# 观察指令
ntpstat
ntpq -p

注意,上述的ntpstatntpq -p的输出结果中。ntp服务器要能够连上上层ntp服务器,否则下层服务端无法对我们的ntp服务器进行同步更新。

用户端主机(192.168.169.101、192.168.169.102、……)设置如下:

vi /etc/ntp.conf

restrict 192.168.169.100
server 192.168.169.100

service ntpd start
chkconfig ntpd on

重点,应用场景2,集群所有主机都在内网,没有主机可与公网连通,

首先可以想到,让其中一台主机作为服务端,其他主机作为用户端,在服务端主机按如上所述放行局域网来源,

# 放行局域网来源
restrict 192.168.169.0 mask 255.255.255.0 nomodify # 用戶端不能使用ntpc和ntpq 這兩个命令來修改服务器的时间参数, 但用戶端仍可通过这部主机进行网络较时。

用户端主机(192.168.169.101、192.168.169.102)同样设置如下:

vi /etc/ntp.conf

restrict 192.168.169.100
server 192.168.169.100

service ntpd start
chkconfig ntpd on

这就会出现错误no server suitable for synchronization found,这是因为NTP Server还没有和它自身或者它的上级Server同步上。进行如下配置,让NTP Server和其自身保持同步,如果在/etc/ntp.conf中定义的Server都不可用时,将使用local时间作为ntp服务提供给ntp客户端。

server 127.127.1.0
fudge 127.127.1.0 stratum 8

在NTP Server上重新启动ntp服务后,NTP Server自身或者与其上级Server的同步的需要一个时间段,这个过程可能是5分钟,在这个时间之内在客户端运行ntpdate命令时会产生no server suitable for synchronization found的错误。

可用如下命令查看NTP Server何时完成和自身的同步。在NTP Server上使用命令watch ntpq -pntpq -p可以列出目前我們的NTP与相关的上层NTP的状态。出现的LOCAL的这个就是与自身同步的NTP Server。注意reach这个值,在启动NTP Server服务后,这个值就从0开始不断增加,当增加到17的时候,从0到17是5次的变更,每一次是poll的值的秒数,是64秒*5=320秒的时间。如果之后从ntp客户端同步ntp server还失败的话,用ntpdate –d来查询详细错误信息,再做判断。

用户端时间更新

应用场景1,用户端手动校时

# 软体时间修改
date -s "YYYYMMDD hh:mm:ss"
# 修改BIOD记录的时间
date;hwclock -r # 查阅软体时间和硬体时间
hwclock -w;hwclock -r;date # 写入硬体时间,这样软体时间与硬体时间就同步了

注意,用date -s更新完Linux系统的时间后,需要用hwclock -w更新BIOS时间。因为每次重新开机时,系统会重新由BIOS时间读出来。

应用场景2,用户端网络较时

可用ntpdate进行网络较时,但要注意,因为NTP服务器本身会与它的上级服务器进行时间同步,所以在NTP服务器不可以使用ntpdate,即ntpntpdate不能同时启用。

ntpdate -dv [NTP IP/hostname] # -d为debug模式,-v显示详细信息

用户端进行网络较时方法一,利用ntpdate,写入crontab,每天5:10主机会自动进行网络较时,这个方式适合不启动ntpd服务的情况。

vi /etc/crontab

10 5 * * * root (/usr/sbin/ntpdate xxx.ntp.server && /sbin/hwclock -w) &> /dev/null

用户端进行网络较时方法二,如果ntpd的server/client时间误差超过1000秒,得先进行手工同步。然后利用NTP,加入我们要的NTP服务器,启动ntpd并设置开机启动,并取消crontab更新程序。

vi /etc/ntp.conf

restrict 192.168.169.100
server 192.168.169.100

service ntpd start
chkconfig ntpd on

注意,提供ntp服务的主机要能够连上上层ntp服务器,否则下层用户端无法对我们的ntp服务器进行同步更新,即192.168.169.100需要与公网的上级NTP服务器连通。


微信公众号「数据分析」,分享数据科学家的自我修养,既然遇见,不如一起成长。

数据分析

读者交流电报群

https://t.me/sspadluo


知识星球交流群

知识星球读者交流群

推荐阅读更多精彩内容