生产环境中iptables与docker若干问题
自打生产环境中用了容器之后，运维方便了很多，再也不用管它挂不挂跑在哪，开心！暗暗下决心，后面一定要把所有组件都跑在k8s集群，用helm做模板，一键启动服务所有组件，想想就爽。过了一段时间之后，服务上线安全整改，要把iptables打开，这就频繁的出问题了，经常访问容器出现网络问题，本文记录一下遇到的问题。
docker run报错
当关闭了iptables之后，再启动带端口映射的容器会报如下错误，内容的意思是容器添加iptables规则失败。
docker: Error response from daemon: driver failed programming external connectivity on endpoint happy_ptolemy (9cedc114be35eb86cd6f7f7bb4f11f93b5f8d2c0745afc72664cef8e96aad439): iptables failed: iptables --wait -t filter -A DOCKER ! -i docker0 -o docker0 -p tcp -d 172.17.0.2 --dport 3000 -j ACCEPT: iptables: No chain/target/match by that name.
(exit status 1).
用这个错误去搜索，一般会告诉你重启docker就好了。事实上确实如此，原因是docker在启动过程中会将一些docker网络需要的规则写入iptables表，生产环境不能总是靠重启来解决问题，如果出现这种问题一般都是事故啦。我们来研究一下究竟是docker启动增加了哪些规则。
docker daemon启动过程会初始化一系列的iptables规则以及修改部分内核参数，下面放上启动前后的iptables对比，有需要的可以直接在这个基础上编辑出需要的iptables。
经过对比分析，我们可以看到docker启动，分别在filter和nat建立了名为DOCKER的chain，在forward转发链增加了一些ACCEPT规则，在nat增加了postrouting和prerouting以及output的规则。
- filter表中的forward主要是对容器和宿主机以及本机容器之间数据包的放行。
- 上面的docker run报错就是因为没有filter和nat中的DOCKER chain导致的，感兴趣的同学可以手动清空iptables然后手动创建这两个chain，会发现可以run端口映射的容器了，因为docker run增加的规则就是在这两个表中的DOCKER chain下添加的。
- 再说一下nat表的
-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE这条规则。
这条规则是处理docker的SNAT地址伪装用的。具体含义是将容器网络网段发送到外部的数据包(!-o docker0)伪装成宿主机的ip，就是讲数据包的原来的容器ip换成了宿主机ip，做了一次snat。对于这个我们也踩过坑，不经snat转换的容器数据包被我们其他节点的防火墙给拦截了(限制非vm网段的ip)，导致访问失败。 - -A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
这条的含义是把目标地址类型属于主机系统的本地网络地址的数据包，在数据包进入NAT表PREROUTING链时，都让它们直接jump到一个名为DOCKER的链。
iptables默认
# Generated by iptables-save v1.4.21 on Fri Aug 24 22:25:31 2018
*filter
:INPUT ACCEPT [87:6944]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [69:7184]
COMMIT
# Completed on Fri Aug 24 22:25:31 2018
iptables-docker
# Generated by iptables-save v1.4.21 on Fri Aug 24 22:30:04 2018
*nat
:PREROUTING ACCEPT [32:1280]
:INPUT ACCEPT [0:0]
:OUTPUT ACCEPT [2:283]
:POSTROUTING ACCEPT [2:283]
:DOCKER - [0:0]
-A PREROUTING -m addrtype --dst-type LOCAL -j DOCKER
-A OUTPUT ! -d 127.0.0.0/8 -m addrtype --dst-type LOCAL -j DOCKER
-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE
-A DOCKER -i docker0 -j RETURN
COMMIT
# Completed on Fri Aug 24 22:30:04 2018
# Generated by iptables-save v1.4.21 on Fri Aug 24 22:30:04 2018
*filter
:INPUT ACCEPT [107:8246]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [88:11662]
:DOCKER - [0:0]
:DOCKER-ISOLATION - [0:0]
-A FORWARD -j DOCKER-ISOLATION
-A FORWARD -o docker0 -j DOCKER
-A FORWARD -o docker0 -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A FORWARD -i docker0 ! -o docker0 -j ACCEPT
-A FORWARD -i docker0 -o docker0 -j ACCEPT
-A DOCKER-ISOLATION -j RETURN
COMMIT
# Completed on Fri Aug 24 22:30:04 2018
转发错误
表现：容器无法通过flannel，跨节点通信，表现为ping不通容器网络，甚至ping不通docker0网桥ip，eg：172.16.0.1，起初以为是防火墙的问题，使用防火墙模板重启iptables依然如故。在排查的时候发现了一个warning，Docker容器启动报WARNING: IPv4 forwarding is disabled. Networking will not work 。试了一下发现还真是因为这个原因。
原因是内核参数ipv4转发被关闭了，重启docker也会修改，但没有永久生效，重新加载内核参数会造成无法访问，将/etc/sysctl中的net.ipv4.ip_forward改为1，重启network就可以了。
参考链接(https://blog.csdn.net/weiguang1017/article/details/76212203)
