IT牛人博客聚合

之前只有一篇关于较早版本的 strlen(3) 实现的笔记，这里补上我在 2010 年做的新增改进。

与 Pascal 等语言不同，C 的字符串并不保存串的长度，而是在字符串末尾以 nul 字符（'\0'）来表示字符串结束。这个设计决策是上世纪 60 年代作出的，有都市传说是为了省几个字节的空间，不过我个人认为也可能是因为汇编里面到处都是判断是否碰到了 0 的操作。不管怎么说，这个设计令 strlen 变成了一个 O(n) 的操作。

早期的 BSD Unix 采用的 strlen 是非常简单的循环比较每一个字符是不是 nul。1993年，J.T. Conklin 为 i386 系统撰写了一个汇编的版本，这个版本的核心用的是 RE

查看全文: http://www.udpwork.com/item/7181.html

可以在 这里 下载。

和过去一样，风险自担 USE AT YOUR OWN RISK！

这个版本 (20120402) 和上一个版本 (20120114) 相比的改动：

集成了近期 ZFS 的全部可靠性和性能改进；

增加了允许 jail 中挂载 ZFS 的功能；

mps(4)性能改进；

对 ULE 调度器的重要性能改进（支持超线程的处理器上许多测试可看到 10%-15% 的改善）；

对 Intel TurboBoost 技术的支持（在需要时可将 CPU 频率临时提高到标称值的 110%）；

对交换设备热拔时的可靠性改进；

对虚拟内存子系统的性能和可靠性改进；

优化了 rtld-elf 的内存占用【

查看全文: http://www.udpwork.com/item/7066.html

可以在 这里 下载。

和过去一样，风险自担 USE AT YOUR OWN RISK！

和 FreeBSD 9.0-RELEASE 相比的改动：

修正了一组 tmpfs 的 bug；

针对 nullfs、 devfs 的可靠性改进；

"skeljail"；

top(1) 默认显示每个CPU的占用比例；

针对 powerd 的多处理器支持；

对 IPv4 流量分 IP 进行统计【注意，由于上锁开销，此改动会略微降低IPv4性能】；

重启时设置 watchdog；

改善 csh 可用性配置；

预设将共享内存绑在主存内；

Winbond watchdog 驱动；

对虚拟化环境默认不测试内存；

查看全文: http://www.udpwork.com/item/6699.html

记一笔，没啥特别。

Unix 系统的分时调度中，nice值（通过 nice(1) 来控制）是管理员告诉调度器的一个参数，这个参数令内核在考虑就绪进程优先级时，根据其值适当增大或减少执行绪的动态优先级。很明显，如果采用抢占式调度，如果执行绪等待时间较长，或者由于某种原因获得了优先级奖励（例如I/O导致的等待），即使有更重要的任务需要执行，内核还是会将这个执行绪调度进来并进行执行；反之，如果执行绪使用的 CPU 很多（计算密集型任务，如压缩等等），即使这个执行绪进行的就是最重要的任务，它仍然可能被置入休眠状态。

在 FreeBSD 的及时调度 (real-time scheduling) 实现中，增加了32个'及时(realtime

查看全文: http://www.udpwork.com/item/6583.html

今天去 Y! 参加了 #lspe 的一个交流会。

比较感兴趣的项目是之前了解过但仔细看过的 FlashCache，这是 Facebook 搞的一个 SSD 加速模块，原理不复杂，是在文件系统下面做上一层集关联(set-associative)高速缓存，提供了LRU和FIFO两种淘汰方法。这次 Mohan Srinivasan 讲解的时候提到了以前公开发表的讲稿上没有的一个内容----按线程id/线程组id去做的黑白名单，并对MySQL进行了修改，令其在扫描表时不做cache。从使用的角度，这个不失为一个不错的折衷方法。

第二个创意不错，使用压缩和 dedup 的方法在 1ms 延迟内做到 1:5 到 1:10 的数据缩减，从而实

查看全文: http://www.udpwork.com/item/6094.html

C语言和 UNIX 之父、K&R 的"R"，Dennis Ritchie，于2011年10月12日在家中病逝。

Dennis Ritchie 在 Bell 实验室对 Ken Thompson 设计的 B 语言进行了扩展，并以此为基础设计了 C 语言。 C 语言与当时设计操作系统常用的汇编语言相比，提供了更好的可移植性，并成为了 UNIX 系统高可移植性的基础。Dennis Ritchie 做的这些工作是开创性的。这些工作使得我们能够使用包括数据结构、函数等高级语言特性的语言书写程序，并可以很容易地移植到不同类型的硬件上，同时又保持与为不同的硬件手工书写的汇编代码接近的性能。C++ 之父 Bjarne Stroustrup 对于 R

查看全文: http://www.udpwork.com/item/6075.html

今天 BAFUG 活动， Luigi Rizzo （十年前提出DEVICE_POLLING概念的那哥们） 带来了他在 FreeBSD 上新实作的 netmap。

简单来说 netmap 实际上是提供了一种让用户程序以一致的接口直接访问网卡（收发包且zero copy）的方法。Luigi Rizzo 的测试中，用以 1050MHz 的单核，在很普通的万兆网卡上就可以轻松达到 14.8 Mpps 了，每个包的开销大约是90个时钟周期。

netmap 对网卡的驱动需要做少量修改，但基本都在30行以内。系统仍然可以"看到"用于netmap的网卡，这个接口暂时还不支持 kqueue（不过貌似暂时也没太大必要的说，毕竟一台机器不会有几千块网

查看全文: http://www.udpwork.com/item/5639.html

之前一直没什么概念，今天看了微软的 KB 321169 的解释，大致如此：

客户端 (SMB Redirector) 如果启用了 security signature，则必须等待命令处理完成才会发出下一条SMB；

服务器端如果启用了延迟ACK，则可能需要过200ms (Windows 2000)才会给出ACK回应

不过感觉这个解释依然不是很有说服力----文档上说，SMB服务器端是需要对 NT_TRANSACT_NOTIFY_CHANGE 给出回应的，那么这种情况下ACK不就回应回来了吗？或者说，只要收到了 ACK 就说明服务器端已经处理了这条 SMB？哪位帮忙理解一下？

查看全文: http://www.udpwork.com/item/5604.html

在 /etc/sysctl.conf 中加入：

kern.sched.preempt_thresh=224

然后用 /etc/rc.d/sysctl start 或重启系统令其生效。

系统默认的值是 80，表示只有新优先级 < 80 时才允许抢占；224 表示非空闲线程均可以进行抢占。这样做的结果是系统会产生更多的切换，从而改善响应时间（牺牲吞吐量）。对桌面系统来说，这种设置是很有用的。

查看全文: http://www.udpwork.com/item/5420.html

今天 强迫症 朱小瘦同学提到一个非常有意思的问题，一个32bit的无符号整数算术右移32个bit应该得多少？

我们知道算术右移一个bit相当于除2，所以一个32bit无符号整数除以 2^32，理论上，应该得0。

然而事实不是这样。测试显示在 x86 系统上，一个32bit无符号整数算术右移32个bit之后得到的是原数。例如下面这个测试程序：

#include <stdio.h>

int
main(void /* int argc, char **argv */)
{
unsigned int a = 0x5a5a5a5a;

a >>= 32;

printf("%x\n", a);

ret

查看全文: http://www.udpwork.com/item/5259.html

最近做一个存储的项目，顺手在家测试了一下实际数据的dedup。操作系统是 FreeBSD 8.2 配合一组总共大约3MB的patch来跑ZFS v28，硬件是 Atom D510 配合 4G 内存。

初步测试的主要目的是取得一些感性认识而不是进行定量分析。

首先是支持的算法。ZFS默认使用的是SHA256，不做校验；刚开始测试的时候不懂事，开了校验，发现速度慢的没法忍受（需要继续研究到底是为什么，个人评估应该是因为校验本身触发的读操作导致），关闭校验则会好很多。

ZFS提供了一个事先评估dedup效果的方法，使用zdb -S pool名字来看。

为了避免过分dedup导致数据存储可靠性方面的问题（例如，有某块数据实际上在po

查看全文: http://www.udpwork.com/item/4492.html

我一直是非常反对重装系统的。从技术上说，今天的折腾并不算是重装系统，不过因为把机器上所有的数据（是的，文件系统全部都拆掉重建了）都重写了一遍，所以还是算做了一次吧。

缘起

在采购 家里的路由器 的时候，选择了 WD 的 AV-25【1】 系列硬盘。我选的那款硬盘使用的是新式的 AF （4kiB扇区）格式。

FreeBSD 使用的主流文件系统 UFS 和 ZFS，以及 ahci(4) 驱动都 直接支持 4kiB 扇区。但是，目前市面上的AF硬盘，为了与先前的 BIOS 和操作系统（主要是 Windows XP）兼容，对于 ATA IDENTIFY 的回应，原先返回扇区尺寸的位置变成了逻辑扇区尺寸，这种做法俗称512e，即硬盘通过

查看全文: http://www.udpwork.com/item/4009.html

之前家里用的那个 Linksys WRT310N 路由器就有相当严重的问题（不排除是DD-WRT的问题），如果连续若干天不重启的话，无线网络的连接有时就会失败。部署新的路由器之后，设置了一个cron任务令其每天早上5:30重启：

30 5 * * * /usr/bin/ssh root@10.253.87.254 reboot > /dev/null 2>&1

当然，执行cron的那个用户需要使用ssh key来登录WRT310N，并事先将key传到WRT310N上面。

由于 FreeBSD 默认会对链路状态的变化进行记录，因此只要查看系统日志就可以知道cron是否真的执行了。

在之前的部分我们讨论过关于功耗的问

查看全文: http://www.udpwork.com/item/3329.html

操作是否对齐是一个简单而容易忽略的性能（有时是可靠性）问题。对齐主要是指读写操作不产生不必要地跨越存储设备上原生存储单元的访问，这里的存储单元说的是在访问路径上的任何设备，它可以是外存，也可以是内存，甚至是CPU附近或内建的快取缓存，等等。

在C/C++中，对于内存的访问多数是在编译时可以预测的。一般来说编译器会在编译过程中自动对数据结构进行补足（除非由于某种需要而指定了__packed），并对可能产生这类问题的冒险行为，例如将一个较短的数据类型的指针cast成一个较长数据类型的指针进行警告。因此，在希望有较高性能的硬件平台上，不对齐的内存字操作往往会导致硬件异常（Alpha、IA64、SPARC64等）。但是对于便宜的PC硬件（

查看全文: http://www.udpwork.com/item/3330.html

最近遇到一些奇怪的bug，因为是对恢复时间有比较高要求的系统，所以顺便研究了一下用FreeBSD的textdump来代替更早前出现的minidump的方法。

minidump是2004年初提出的，FreeBSD 6.2-RELEASE开始加入了这个功能，并且在7.x开始默认启用。具体原理是在panic时做dump的时候只存储那些映射为内核内存的物理内存页。这种做法实际上是赌VM的页表在崩溃的时候没有被写坏（绝大多数情况下这是成立的，除非在调试VM本身）。

UPDATE: 杨总 说，Solaris上有一个叫 Fast Crash Dump 的功能。看了一下介绍，是在dump的时候用指定的压缩算法去压缩再转存。先记一笔。

text

查看全文: http://www.udpwork.com/item/3334.html

早期版本的 FreeBSD 有一个问题是，如果使用 ntpd 来校准系统时钟的话，如果长期开机，则在重启之后，时间会差很远，之前一直没仔细研究这个问题。最近突然发现 FreeBSD 8.1-RELEASE 里面没有这个问题了，于是翻看了一下代码和之前的一些邮件才明白是怎么回事，总结一下：

一般来说操作系统在引导以后会自行维护时钟，简单地说，就是操作系统根据某个时钟源，例如单CPU系统中的TSC，或多CPU系统中比较常用的高精度事件计时器HPET等等，计算出时间的流逝并修改系统时间。只有在系统刚刚引导的时候，才会直接取 RTC 时间（在关机时，主板上的电池仍可维持 RTC 电路的计时功能）。

我们知道，任何测量工具都是有误差的，普

查看全文: http://www.udpwork.com/item/3336.html