关于ip_conntrack跟踪连接满导致网络丢包问题的分析

我们的线上web服务器在访问量很大时,就会出现网络连接丢包的问题,通过dmesg命令查看日志,发现如下信息:

kernel:ip_conntrack:tablefull,:printk:1:ip_conntrack:tablefull,:printk:2:ip_conntrack:tablefull,droppingpacket.

这里面关键的信息是"ip_conntrack:tablefull,droppingpacket",从这里可以判断出这跟iptables有关系了,因为iptables防火墙使用了ip_conntrack内核模块实现连接跟踪功能,所有的进出数据包都会记录在连接跟踪表中,包括tcp,udp,icmp等,一旦连接跟踪表被填满以后,就会发生丢包,导致网络不稳定。

而我们的服务器确实打开了iptables防火墙,并且都是在网站流量非常高的时候经常会出现这个问题。这个问题的原因是由于web服务器收到了大量的连接,在启用了iptables的情况下,iptables会把所有的连接都做链接跟踪处理,这样iptables就会有一个链接跟踪表,当这个表满的时候,就会出现上面的错误。

iptables的链接跟踪表最大容量配置文件如下:

centos5netfilter参数配置文件:

/proc/sys/net/ipv4/netfilter/ip_conntrack_max或者/proc/sys/net/ipv4/ip_conntrack_max

centos6netfilter参数配置文件:

/proc/sys/net/netfilter/nf_conntrack_max

由于nf_conntrack工作在3层,支持IPv4和IPv6,而ip_conntrack只支持IPv4,因此nf_conntrack模块在Linux的2.6.15内核中被引入,而ip_conntrack在Linux的2.6.22内核被移除(版本),因此不同版本的系统,配置文件也就不尽相同了。目前大多的ip_conntrack_*已被nf_conntrack_*取代,很多ip_conntrack_*仅仅是个软链接,原先的ip_conntrack配置目录/proc/sys/net/ipv4/netfilter/仍然存在,但是新的nf_conntrack在/proc/sys/net/netfilter/中,这样做是为了能够向下的兼容。

了解了配置文件的变化后,我们看看这个问题该如何解决,解決方法一般有两个:

1、调整/proc/下面的参数

可以增大适当conntrack的条目,在CentOS5/RHEL5下:

(1)运行

_conntrack_max=655360

(2).在/etc/中加入:

_conntrack_max=655360

(3).使其生效

sysctl-p

在CentOS6/RHEL6下:

(1)运行

_conntrack_max=100000

(2)在/etc/中加入:

_conntrack_max=100000

(3)使其生效

sysctl-p

2、不使用ip_conntrack模块

在CentOS5/RHEL5下:

不使用ip_conntrack,需要移除state模块,因为使用该模块需要加载ip_conntrack。确保iptables规则中没有出现类似state模块的规则,如果有的话将其移除:

然后注释/etc/sysconfig/iptables-config中的:

IPTABLES_MODULES="ip_conntrack_netbios_ns"

最后移除ip_conntrack模块:

[root@waiweiipv4]modprobe-rnf_conntrack_ipv4xt_state[root@waiweiipv4]#modprobe-rnf_conntrack

现在/proc/net/下面应该没有nf_conntrack了。

两种方法中,第一种简单,但是治标不治本,第二种稍微麻烦,但是毕竟使用,大家可根据情况进行选择。

版权声明:本站所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,不声明或保证其内容的正确性,如发现本站有涉嫌抄袭侵权/违法违规的内容。请举报,一经查实,本站将立刻删除。

相关推荐