+2
0

Linux kernel 性能压力下的优化实践(V0.1)

longhao 发表于 2012年04月01日 13:32 | Hits: 5385
Tag: Linux | conntrack_max | kernel | linux | sysctl

     做benchmark测试的过程中,总是会涉及到linux操作系统底层的设置导致无法充分利用机器的性能,在调试的过程中,不少资料没能和linux kernel版本对应上导致一些参数的设置错误。根据现有服务器的硬件条件和软件版本做相关优化,把一些实践的心得分享出来。

      Kernel version : 2.6.32-71.el6.x86_64

      Cpu:Intel(R) Xeon(R) CPU    E5606  @ 2.13GHz

      Memory:8G

      Release notes : v0.1  2012-03-31  句柄数  , 网络参数

     问题1:句柄数的问题

    使用webbench在Linux下做varlish访问压力测试的时候,遇到Socket/File: Can’t open so many files的问题,原因是linux下所有的东西都是文件,包括socket接口,对于大量的网络连接,不仅仅消耗socket文件描述符,对于进程本身还打开相当多的文件,Linux的默认句柄数是1024。

解决方式:

修改/etc/security/limits.conf
     你的用户名  soft nofile 65535      ##ulimit -Sn
     你的用户名 hard nofile 65535      ##ulimit -Hn
unlimt -n 查看

参考资料:

  1. 通过ulimit改善系统性能

     问题2:网络参数

      使用ab或者webbench做压力测试,如果并发数开到1000的时候,无法完成测试。到晚上查看资料发现是linux网络参数设置。

解决方式:

[longhao@longhao etc]# vi /etc/sysctl.conf
在kernel2.6之前的添加项:
net.ipv4.netfilter.ip_conntrack_max = 655360
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 180

kernel2.6之后的添加项:
net.nf_conntrack_max = 655360  # net.nf_conntrack_max = 655360 也可以
net.netfilter.nf_conntrack_tcp_timeout_established = 1200

[longhao@longhao etc]# sysctl -p /etc/sysctl.conf

如果报错:error: "net.nf_conntrack_max" is an unknown key 则需要使用modprobe载入ip_conntrack模块,lsmod查看模块已载入。
[longhao@longhao etc]# modprobe  ip_conntrack

后续说明:
     –CONNTRACK_MAX 允许的最大跟踪连接条目,是在内核内存中netfilter可以同时处理的“任务”(连接跟踪条目)
     –HASHSIZE 存储跟踪连接条目列表的哈西表的大小

CONNTRACK_MAX和HASHSIZE的默认值
      一般来说,CONNTRACK_MAX和HASHSIZE都会设置在“合理”使用的值上,依据可使用的RAM的大小来计算这个值。

CONNTRACK_MAX的默认值
     在i386架构上,CONNTRACK_MAX = RAMSIZE (以bytes记) / 16384 =RAMSIZE (以MegaBytes记) * 64,因此,一个32位的带512M内存的PC在默认情况下能够处理512*1024^2/16384 = 512*64 = 32768个并发的netfilter连接。
     但是真正的公式是:CONNTRACK_MAX = RAMSIZE (in bytes) / 16384 / (x / 32) 这里x是指针的bit数,(例如,32或者64bit)

请注意:
     -默认的CONNTRACK_MAX值不会低于128
     -对于带有超过1G内存的系统,CONNTRACK_MAX的默认值会被限制在65536(但是可以手工设置成更大的值)

HASHSIZE的默认值
     通常,CONNTRACK_MAX = HASHSIZE * 8。这意味着每个链接的列表平均包含8个conntrack的条目(在优化的情况并且CONNTRACK_MAX达到的情况下),每个链接的列表就是一个哈西表条目(一个桶)。
     在i386架构上,HASHSIZE = CONNTRACK_MAX / 8 =RAMSIZE (以bytes记) / 131072 = RAMSIZE (以MegaBytes记) * 8。举例来说,一个32位、带512M内存的PC可以存储512*1024^2/128/1024 =512*8 = 4096 个桶(链接表)
     但是真正的公式是:HASHSIZE = CONNTRACK_MAX / 8 = RAMSIZE (以bytes记) / 131072 / (x / 32)这里x是指针的bit数,(例如,32或者64bit)

请注意:
     -默认HASHSIZE的值不会小于16
     -对于带有超过1G内存的系统,HASHSIZE的默认值会被限制在8192(但是可以手工设置成更大的值)

参考资料:

  1. Conntrack tuning
  2. kernel nf_conntrack: table full, dropping packet 解决办法
  3. 不要盲目增加ip_conntrack_max-理解Linux内核内存

原文链接: http://www.longtask.com/blog/?p=750

0     +2

我要给这篇文章打分:

可以不填写评论, 而只是打分. 如果发表评论, 你可以给的分值是-5到+5, 否则, 你只能评-1, +1两种分数. 你的评论可能需要审核.

评价列表(2)

  • +1 guest voted at 2012-04-03 12:10:55

  • +1 guest voted at 2013-01-08 01:37:56