IT牛人博客聚合

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Linux TASK_IO_ACCOUNTING功能以及如何使用

在过去我们了解系统IO的情况大多数是通过iostat来获取的，这个粒度只能精确到每个设备。通常我们会想了解每个进程,线程层面发起了多少IO，在Linux 2.6.20之前除了用systemtap这样的工具来实现是没有其他方法的，因为系统没有暴露这方面的统计。 disktop per设备per应用层面的IO读写统计，可以参考我之前写的，见这里.

透过lxr的代码确认，在Linux 2.6.20以后引入了TASK_IO_ACCOUNTING功能，通过把每个线程和进程的io活动通过/proc/p

查看全文: http://www.udpwork.com/item/6978.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Iostat看不到设备统计信息的原因分析

最近在把玩些高速的SSD和nvram设备的时候，发现iostat无法统计到这些设备的信息，很是奇怪，于是分析和总结了一把，挺有意思的。

现象描述如下：

# uname -a

Linux dr4000 2.6.32-131.17.1.el6.x86_64 #1 SMP Wed Oct 5 17:19:54 CDT 2011 x86_64 x86_64 x86_64 GNU/Linux

# ls -al /dev/nvdisk0

brw-rw-r– 1 root root 252, 0 Mar 10

查看全文: http://www.udpwork.com/item/6975.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Fio压测工具和io队列深度理解和误区

Fio 是个强大的IO压力测试工具，我之前写过不少fio的使用和实践，参见 这里。

随着块设备的发展，特别是SSD盘的出现，设备的并行度越来越高。利用好这些设备，有个诀窍就是提高设备的iodepth, 一把喂给设备更多的IO请求，让电梯算法和设备有机会来安排合并以及内部并行处理，提高总体效率。

应用使用IO通常有二种方式：同步和异步。 同步的IO一次只能发出一个IO请求，等待内核完成才返回，这样对于单个线程iodepth总是小于1，但是可以透过多个线程并发执行来解决，通常我们会用16-32根线程同时工作把iodep

查看全文: http://www.udpwork.com/item/6969.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: hwconfig查看硬件信息

最近经常要测试新硬件，了解硬件的具体型号和参数就非常重要，过去经常透过lspci, dmidecode, dmesg, ethtool, lshal, megacli等命令和各种/proc信息来了解，需要对这些工具很熟悉, 貌似比较不方便和准确。

今天看到某同学用的hwconfig感觉信息很专业，推荐给大家。这里可以下载, 感谢微博@frostwatcher同学.

hwconfig透过收集上面提到的各种信息, 然后根据wiki或者厂家公布的设备识别码, 进一步加工,给用户一个直观的信息.

不废话,效果如下：

$ uname

查看全文: http://www.udpwork.com/item/6916.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: blktrace未公开选项网络保存截取数据

我们透过blktrace来观察io行为的时候，第一件事情需要选择目标设备，以便分析该设备的io行为。具体使用可以参考我之前写的几篇：这里 这里 这里

blktrace分为内核部分和应用部分，应用部分收到我们要捕捉的设备名单，传给内核。内核分布在block层的各个tracepoint就会开始工作，把相关的数据透过relayfs传递到blktrace的应用部分，应用部分把这些数据记到磁盘，以便后续分析。架构参见下图：

从man blktrace中可以看到：

blktrace stores the extracted

查看全文: http://www.udpwork.com/item/6915.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: MYSQL数据库网卡软中断不平衡问题及解决方案

最近公司在MySQL的数据库上由于采用了高速的如PCIe卡以及大内存，去年在压力测试的时候突然发现数据库的流量可以把一个千M网卡压满了。随着数据库的优化，现在流量可以达到150M，所以我们采用了双网卡，在交换机上绑定，做LB的方式，提高系统的吞吐量。

但是在最近压测试的一个数据库中，mpstat发现其中一个核的CPU被软中断耗尽：

Mysql QPS 2W左右

——– —–load-avg—- —cpu-usageR

查看全文: http://www.udpwork.com/item/6712.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: systemtap如何跟踪libc.so

下午和周忱同学折腾复杂程序的内存泄漏问题，用了valgrind, gogle perftools等工具都不大好用，很容易把应用程序搞死，于是打算用systemtap来在libc.so层面了解内存的使用情况。主要思路就是看malloc/realloc和free的调用次数的平衡。

首先准备下环境，系统是标准的RHEL 5u4：

$ uname -r
2.6.18-164.el5

$ stap -V
SystemTap translator/driver (version 1.3/0.137 non-git sourc

查看全文: http://www.udpwork.com/item/6691.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: 给你的Linux系统上点stress

《debug hacks》 这本书介绍了非常多的调试手段和工具， 其中提到了stress这个简单的压力测试工具，在我们的日常工作中很有用。利用它可以给我们的系统施加CPU，内存,IO和磁盘的压力，在模拟极端场景给应用系统造成的压力方面很有帮助。

主页见这里：http://weather.ou.edu/~apw/projects/stress/

这里还有一篇介绍如何使用的博客。

stress is a deliberately simple workload generator for POSIX systems. I

查看全文: http://www.udpwork.com/item/6675.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: fio配合cgroup测试存储设备IOPS分配

随着包括存储设备在内服务器的能力越来越高，特别是用上了PCIe存储卡后，IOPS能力通常有10几万，马上过剩。在这种情况下，一台服务器可以干很多事情，在上面跑很多服务。那么如何保证系统的服务质量是个很重要的事情了。

我们在下来的的项目中倾向于用cgroup来做资源的隔离和限制，原因是cgroup的开销很小，而且很易用。cgroup 可以参考这里

我们特别关心cgroup的blkio子模块，他有2种限制模式:

1. throttle，限制每个进程能使用的IOPS或者吞吐量。

2. weight，现在每个进程

查看全文: http://www.udpwork.com/item/6593.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: slabtop简单的用途

我们知道内核的模块在分配资源的时候，为了提高效率和资源的利用率，都是透过slab来分配的。我们通过slab的信息，再配合源码能粗粗了解系统的运行情况，比如说什么资源有没有不正常的多，或者什么资源有没有泄漏。

linux系统透过/proc/slabinfo来向用户暴露slab的使用情况的,我们来看下：

$ head /proc/slabinfo
slabinfo - version: 2.0
# name <active_objs> <num_objs> <objsize>

查看全文: http://www.udpwork.com/item/6530.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: 调研内核调用栈方便的工具 kmalloc-top

我们在研究内核的时候，看了内核代码后，就想着某个函数被谁谁调用。 调用路径有很多条，有热门的，有偏门的，但从代码不大容易看出。 如果我们能和gdb那样在函数上设个断点，看下内核函数的调用栈就清楚了。 但是如何统计热门路线呢？用systemtap就可以，参看这里， 这里。

但是用systemtap写统计的时候，用到统计功能的话，如果你的采样点非常多，超过systemtap规定的上线，systemtap会选择罢工，直接推出，很不爽。

kmalloc-top就是为了解决这个问题写的一个perl脚本，原本用来调查

查看全文: http://www.udpwork.com/item/6522.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Flashcache新添加驱逐空闲脏页参数

我在之前的博文提过Flashcache的cache是以set为单位管理的，每个set默认2M。 当单个set里面的脏页数量超过dirty_thresh_pct的时候，就会启动背景工作队列来把超过设置的脏页回写到后备磁盘去。 这里有别的同学对flashcache设计文档的翻译.

参看dirty_thresh_pct的文档解释：

dev.flashcache..dirty_thresh_pct = 20

Flashcache will attempt to keep the dirty blocks

查看全文: http://www.udpwork.com/item/6504.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: vmtouch－系统pagecache查看和操纵器

今天看到dbanote这篇博文介绍的技术清单，里面列到了很多有意思的技术。其中提到了一个小工具vmtouch，主页见这里。

vmtouch – the Virtual Memory Toucher

Portable file system cache diagnostics and control

vmtouch is a tool for learning about and controlling the file system cache of unix and unix-like s

查看全文: http://www.udpwork.com/item/6494.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: 关于ramdisk

ramdisk是Linux内核带的一个以内存为后备的虚拟设备，以块设备方式提供。 具体功能参见Documentation/ramdisk.txt，代码参见drivers/block/brd.c.

内核在启动的时候会预设几个ramdisk, 初始大小通常为128K的块设备，方便有需要的用户。

$ uname -r
2.6.32-131.0.15.el6.x86_64
$ ls /dev/ram0 -al
brw-rw---- 1 root disk 1, 0 2011-12-02 11:41 /dev/ram0
$ sudo blockd

查看全文: http://www.udpwork.com/item/6470.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: lscpu – CPU architecture information查看器

很多时候我们要了解CPU的型号，NUMA架构， L1，L2，L3 Cache大小等信息， 为服务器程序的编写和设置做决策。

Linux下除了 /proc/cpuinfo提供的信息以外，还有intel自己的工具： 参间 CPU拓扑结构的调查： http://blog.yufeng.info/archives/666。

但是这些都不是很方便， 同样来自util-linux-ng包的lscpu很清晰的告诉你上面的信息. RHEL 6.1 已经预先安装好了。

man l

查看全文: http://www.udpwork.com/item/6468.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Linux下方便的块设备查看工具lsblk

之前在Linux下看有什么块设备，通常都用fdisk什么的或者直接ls /dev/ 人肉去看看， 很土，不方便。 前二天在江枫的网站上看到了介绍的lsblk,这玩意不错，推荐给大家。

这个工具属于util-linux-ng包，在RHEL 6.1上是安装好的啦，直接用就好。 ubuntu高版本下也有。

这个工具最大的特别是把所有的块设备列出，而且还能显示他们之间的依赖关系，演示下：

$ uname -r
2.6.32-131.0.15.el6.x86_64
$ lsblk
NAME MAJ:MIN RM

查看全文: http://www.udpwork.com/item/6469.html