IT牛人博客聚合

之前，@风枫峰 在“这是谁的错？”中说过开发团队对需求来者不拒，而@weidagang 也在“需求变更和IoC”中说过用IoC来最大程度地解决需求变更。今天我也想从Unix设计思想的角度来说说什么是好的软件设计，什么样的设计可以把需求变更对开发的影响降低。（注意：这并不能解决用户或是PM的无理需求，面对无理需求，需要仔细分析需求，而用技术的手段无法搞定这个事，但是可以减轻需求变更带来的痛苦） 我曾经在《Unix传奇》的下篇中写过一些Unix的设计哲学和思想（这里重点推荐大家看一下《The Art of Unix Programming》，我推荐过多次了），以前也发过一篇《一些软件设计的原则》，不过，这些东西都太多了，记不住。其实，这

查看全文: http://www.udpwork.com/item/7273.html

以前一直纳闷，非特权用户不能编辑 /etc/rc.local ，应该如何实现开机启动任务的功能。。

刚刚详读了下 man 5 crontab ，才知道crontab的前五个参数除了可以用分时日月周之外，

还可以用一些预定义的类型（叫做Vixie cron），其中一个特殊的就是 @reboot ：
引用
Instead of the first five fields, one of eight special strings may appear:

              string        meanin

查看全文: http://www.udpwork.com/item/7153.html

有很多系统读写大文件时用的是这个办法：将大文件mmap到内存，然后直接对内存读写。这样就化read/write为memcpy操作，代码开发上很简便。被修改的内存页由kernel负责挑个时间写入硬盘，程序员不用操心。

但是，最近一些使用了taobao kernel（基于redhat6-2.6.32）的机器，上面那些使用mmap的应用变慢了。我们上线查看，才发现mmap文件里有很多脏页，kernel的writeback机制就不停的将这些脏页写往硬盘，结果造成了大量的io（从iostat看，除了几秒的间歇，io util几乎保持在100%），而如果换回2.6.18内核，就没有这个问题（io util不超过20%，而且很稀疏）。

为了简

查看全文: http://www.udpwork.com/item/6906.html

先前我以为对文件系统来说，读写文件时跑得快才是关键，mkfs和fsck的速度不用操心。直到几天前，线上的运维同学反映：集群里某台（或者悲剧一点，某几台）机器如果宕机了，如果不能迅速重启，可能会对其它服务器带来额外的压力，因为外部流量还在，而“重启”过程包括了对突然断电的磁盘做fsck，所以，fsck的速度也很重要。

于是我找了个台式机（没办法，我们组的开发机服务器没有上T的硬盘），上面配了coly (@淘伯松)自己买的 2T 硬盘，测了一下ext4如果带上 nojournal + bigalloc + inline_data 后fsck的速度。

硬盘： 希捷Barracuda LP 2TB 5900转 32MB（ST320005

查看全文: http://www.udpwork.com/item/6896.html

需求大概是这样：在一个linux系统上，想跑多个不同应用，这些应用由不同的运维来操作，为了避免互相干扰，希望运维只能看见自己的文件，而看不见别的应用的文件信息。一个常用解决办法就是干脆装多个虚拟机，但是，虚拟机对我们来说偏“重”，比如，多个应用公用的一些动态链接库（比如 libc.so）和配置文件（比如 hosts.conf）就复制了多份，如果原先一个系统在运行时系统文件占了500M的cache，那么现在装了4台虚拟机，就有2G的cache被重复占用了。

怎样才能让系统文件只占一份cache呢？我们首先想到这么个主意：把linux系统装到ext4上，然后做4个snapshot（"快照“），这4个snapshot分别mount到4个

查看全文: http://www.udpwork.com/item/6821.html

这是在公司做简单介绍的PPT，只是推广性的梗概，欲知实现细节的看这里 http://lwn.net/Articles/441343/

Ext4 new feature - bigallocView more presentations from donghao.

查看全文: http://www.udpwork.com/item/6687.html

几个月前朱照远同学向我提过一个epoll的疑似bug：

1. 创建一个socket（sfd）并connect到某个server
2. 创建 epoll_create（efd）
3. 将socket的描述符sfd加入efd，  采用ET模式
4. 调用epoll_wait将返回一个EPOLLOUT事件（因为连接成功了）

以上是正常的，但是，此时如果从server来了一个消息， epoll_wait将会返回一个event，这个event包含了EPOLLIN和EPOLLOUT
“照理说”，既然采用了ET模式，EPOLLOUT上次已经出现了，不应该再出现，但是它被EPOLLIN事件给“带出来”了

这看上去似乎像个问题，但似乎

查看全文: http://www.udpwork.com/item/6451.html

按照某帖子里的说法，禁用掉WMPNetworkSvc(Windows Media Player Netwroking SharingService)即可正常使用sysprep部署了。

好久没发这么短的Blog了，简直就是微博了，OVER。

查看全文: http://www.udpwork.com/item/6882.html

原文：http://kernel.taobao.org/index.php/Documents/kernel_team_internship

淘宝内核组是一只非常年轻的队伍，我们作为开源社区和淘宝的桥梁，一方面基于淘宝的工作负载来改进Linux内核的性能和质量，另一方面也将开源社区的新想法引入到淘宝的操作系统运行环境中。我们在不断改进Linux在淘宝成千上万台服务器上运行的性能和稳定性的同时，也持续努力将我们的工作反馈回开源社区。 

关于淘宝内核组的简单情况介绍，可以在这个wiki页面看到：http://kernel.taobao.org 
对于我们在内核社区的一些还很初级的工作，在这个wiki页面有一些简单

查看全文: http://www.udpwork.com/item/6348.html

其实最早是想把XP装进移动硬盘，这样的话只要有需要随时可以从移动硬盘启动一个完整的系统。可惜无论是从安装程序安装还是Ghost，都会在XP滚动条过去以后就挂断（蓝屏或者直接重启）。发现有个USBOOT好像能够把XP放进去，但是还得注册帐号什么的，操作步骤也很麻烦。

最近各种折腾，最终结果是手头有个2个USB3.0的U盘。朗科 U903 8GB(某东现在特价69，很值得买)：USB2.0下面读30M/s，写20M/s，USB3.0下读40M/s，写25M/s，延迟约1.1ms，也就是大约900IOPS；威刚S102 16GB(某东正常价139)，USB2.0读写也是30/20左右，3.0还没实测，延时0.6ms，约1600IOPS。

查看全文: http://www.udpwork.com/item/6282.html

最近和sandy一起在做的项目中，对文件系统有些纠结的地方。主要都是一致性问题。

比较简单的一个问题是，往某个文件末尾追加内容，希望保证断电数据不丢失，又想速度快。fsycn可以保证缓存被刷到存储设备；但是在机械硬盘上执行fsync又变成了瓶颈。经过测试，在某机器上fsync大约每秒可以执行1100次左右。虽然目前能够满足业务需求，但是的确是项目中最大的瓶颈。解决办法就是花钱，买SSD。

还有几个麻烦的问题。

====
首先，记录锁。APUE 14.3 记录锁 中提到一个"锁的隐含和释放"fd1 = open(filename, ...);
read_lock(fd1, ...); //这个是APUE自带的

查看全文: http://www.udpwork.com/item/6263.html

10月13日到14日两天参加了在江苏南京召开的CLSF（China Linux Storage & Filesystem）会议，说会议大了点，主要是大家一群对低层存储和文件系统感兴趣的同学（主要来自SUSE,Intel,南大富士通,淘宝，百度）坐在一起“勾兑”一番。
我绝对是文件系统领域的新手，所以尽管尽心记录，肯定还是很碎片，大家将就着看，如发现错误，欢迎狂喷狂问。

第一天先是由南大富士通的李泽帆介绍btrfs这一年来的新进展。

btrfs已经实现了透明的文件压缩。采用LZO压缩算法（zip压缩算法消耗CPU太大），存在磁盘上的是压缩后的用户数据，压缩单位是一个extent（一次压缩最大不得超过160k的数据）；用户在读取时，

查看全文: http://www.udpwork.com/item/6116.html

昨天闲着蛋疼，白天把机器挂着下了个Win8开发者预览版，然后从公司远程到家里，UltraISO挂载，点击Setup，点了几个按钮，最后点了个Install，以为会让我选择安装在哪个分区然后再拷贝文件，没想到直接重启把Win7覆盖了，晚上回家一看，丫的已经安装好了，只差我创建帐号再点几个个人配置了。

进入系统以后发现不太习惯。默认进入的是Metro界面，按Windows键或者点击上面的Desktop区域返回桌面；传统的开始菜单貌似完全消失了，按Windows键只是在Metro和传统界面之间切换。Win7的应用都能安装（包括Chrome、QQ、迅雷、Flash插件），但是QQ的聊天窗口不能响应点击事件。此外就是不够稳定，会出现重启/注

查看全文: http://www.udpwork.com/item/5929.html

今年年初才开始在公司干活时也使用ubuntu做桌面，确实很好用。小小的总结一下。收邮件用Thunderbird（evolution太总量级），上网用chrome（现在是用chromium，也不错），图形界面搞svn用RabbitVCS（强烈推荐，这简直就是linux下的 TortoiseSVN）

WM刚开始用的是gnome，结果内存有些紧张，后来改用评价比较高的 lxde（纯openbox那样的又太geek了），使用结果证实了李勇同学以前的测试??lxde不管是启动速度还是内存占用都明显低于gnome。刚开始用 lxde 时觉得配置起来有点麻烦，不说别的，至少要在 /etc/xdg/lxsession/LXDE/auto

查看全文: http://www.udpwork.com/item/5699.html

最近看ext4代码，注意到了 punch hole （打洞）功能，就是可以把文件中间的一部分内容释放掉，但是剩余部分的文件偏移不变。

于是我问马涛同学这个punch hole一般用在什么场合。

马涛：可以用在虚拟机上，比如你从虚拟机里删掉了一个大文件，虚拟机可以用punch hole在虚拟硬盘把这个文件占用的空间释放掉

我：有哪款虚拟机这样做？

马涛：这是文件系统提供给虚拟机的一个feature，虚拟机有了这个feature的支持就可以节省硬盘空间。比如host上装了多台虚拟机，每个虚拟机都通过punch hole的方式来删除自己虚拟的大文件，这样一段时间后，虽然各虚拟硬盘加起来空间很大，但是实际占用的空间就很小。应该有虚拟

查看全文: http://www.udpwork.com/item/5539.html

今天下午我的讲座，名字是《Why we need ext4》，其实主要是我上半年学到东西的一个小结

why we need ext4View more presentations from donghao.

查看全文: http://www.udpwork.com/item/5366.html