由tcp_tw_recycle引发的问题

1、现场问题：

客户端A通过NAT网关访问应用服务成功，而客户端B通过NAT网关访问应用服务经常性出现connect失败。在服务端抓包发现：服务端已经收到了syn包，但没有回复synack包；客户端A 关闭了tcp_tw_recycle，而客户端B开启了tcp_tw_recycle；据当事人称开启 tcp_tw_recycle 是为了减少tcp的TIME_WAIT状态。

2. 问题分析：

大致可以推测上述问题和tcp_tw_recycle有关，查看linux内核对应的代码

tcp_v4_conn_request()函数：

if (tmp_opt.saw_tstamp &&

tcp_death_row.sysctl_tw_recycle &&

(dst = inet_csk_route_req(sk, req)) != NULL &&

(peer = rt_get_peer((struct rtable *)dst)) != NULL &&

peer->v4daddr == saddr) {

if (get_seconds() < peer->tcp_ts_stamp + TCP_PAWS_MSL &&

(s32)(peer->tcp_ts - req->ts_recent) > TCP_PAWS_WINDOW) {

goto drop_and_release;

}

其中：

sysctl_tw_recycle：本机系统开启tcp_tw_recycle选项

TCP_PAWS_MSL：60s，该条件判断表示该源ip的上次tcp通讯发生在60s

TCP_PAWS_WINDOW：1，该条件判断表示该源ip的上次tcp通讯的timestamp 大于本次tcp。

tmp_opt.saw_tstamp：该socket支持tcp_timestamp

简单说就是在tcp_tw_recycle/tcp_timestamps都开启的条件下，60s内同一源ip主机的tcp 链接请求中的timestamp必须是递增的。

结合问题分析：主机client1和client2通过NAT网关访问服务时，而client1和client2的timestamp（tcp报文的时间戳与系统时钟有关）不相同；根据上述syn包处理源码，在tcp_tw_recycle和tcp_timestamps同时开启的条件下，timestamp大的客户端访问服务成功，而timestmap小的主机访问失败。

3. 解决方法： echo 0 > /proc/sys/net/ipv4/tcp_tw_recycle;

tcp_tw_recycle默认是关闭的。为了解决上述问题，需要建议关闭tcp_tw_recycle选项，而不是timestamp；因为在tcp timestamp关闭的条件下，开启tcp_tw_recycle是不起作用的； tcp_timestamp选项开启，可以提高TCP RTT的计算精度，提高TCP的性能。linux许多参数调优，需要根据业务场景以及参数背景的工作原理进行综合考虑，不存在一个配置文件搞定所有问题的情况。

4、进一步深入

上面的代码究竟是处于什么考虑呢？是BUG吗？实际上这个属于TCP协议栈的PAWS机制的逻辑。PAWS (Protection Against Wrapped Sequence numbers)，防止序号回绕。

tcp报文头中使用了32位的整数做序号。在高速网络中，一个TCP链接的tcp序号很快就会出现回绕的情况。

例如，下图中之前消息的序号为A的数据包，由于网络路径或其他原因刚好在当前数据流要接收序号为A的数据包时，又被服务端收到，那么服务端就错误地把这个数据包当做新消息的一部分，从而可能会导致上层业务使用错误数据。

在通过实际数据计算看一下，感受一下发送回绕需要的网路速度。假设网络带宽为B bytes/s，那么序号回绕的时间为 2^31/B。对于 1Gbps速率（125MBps），计算一下，发现只需要17秒就序号就回绕了，而TCP标准中MSL（Maximum Segment Lifetime）是2分钟。

为了避免这种情况的发送，需要TCP的PAWS机制，而为了说清楚PAWS，就需要说一下tcp timestamp。

如上所示，开启tcp timestamp时，发送端的报文携带时间戳，接受端接受到报文进行应答时，会把发送的时间戳再返回给发送端。这样发送端可以有效计算TCP的RTT值。这是tcp timestamp的一个功能，另一个功能就是用于PAWS。

PAWS如何解决序号回绕问题呢？由于接收的每个数据包都携带了时间戳，对于一个TCP链接来说，数据包的时间戳是单调递增的，所以若数据包时间戳的数值小于当前链接已处理数据包的时间戳，那么就认定序号发生了回绕，将消息丢弃。

关于PAWS的详细信息，可参考https://www.ietf.org/rfc/rfc1323.txt

更多内容请关注http://www.duckula.cn

最后编辑于：2019.05.22 09:28:20