IT牛人博客聚合

先前我以为对文件系统来说，读写文件时跑得快才是关键，mkfs和fsck的速度不用操心。直到几天前，线上的运维同学反映：集群里某台（或者悲剧一点，某几台）机器如果宕机了，如果不能迅速重启，可能会对其它服务器带来额外的压力，因为外部流量还在，而“重启”过程包括了对突然断电的磁盘做fsck，所以，fsck的速度也很重要。

于是我找了个台式机（没办法，我们组的开发机服务器没有上T的硬盘），上面配了coly (@淘伯松)自己买的 2T 硬盘，测了一下ext4如果带上 nojournal + bigalloc + inline_data 后fsck的速度。

硬盘： 希捷Barracuda LP 2TB 5900转 32MB（ST320005

查看全文: http://www.udpwork.com/item/6896.html

需求大概是这样：在一个linux系统上，想跑多个不同应用，这些应用由不同的运维来操作，为了避免互相干扰，希望运维只能看见自己的文件，而看不见别的应用的文件信息。一个常用解决办法就是干脆装多个虚拟机，但是，虚拟机对我们来说偏“重”，比如，多个应用公用的一些动态链接库（比如 libc.so）和配置文件（比如 hosts.conf）就复制了多份，如果原先一个系统在运行时系统文件占了500M的cache，那么现在装了4台虚拟机，就有2G的cache被重复占用了。

怎样才能让系统文件只占一份cache呢？我们首先想到这么个主意：把linux系统装到ext4上，然后做4个snapshot（"快照“），这4个snapshot分别mount到4个

查看全文: http://www.udpwork.com/item/6821.html

原文：http://lwn.net/Articles/469805/

原作者：Jonathan Corbet

原文发布时间：November 29, 2011

译者：王旭 （ @gnawux ;  http://wangxu.me/blog/ ）

翻译时间：2012年2月3日

ext4是一个刚刚发布一两年的文件系统。不过，这个坚实稳定的系统是基于一个很古老的设计演化而来的。对于一些被作为“下一代文件系统”开发的 FS，比如 btrfs，本文要提到的一些特性可能都已经具备了。然而，btrfs这样的文件系统还需要相当长的时间，才能在更广泛的用户群中获得足够的信心，同时，日益增长的 ext4 用户对这些特性同样心仪已久。近来提交

查看全文: http://www.udpwork.com/item/6783.html

这是在公司做简单介绍的PPT，只是推广性的梗概，欲知实现细节的看这里 http://lwn.net/Articles/441343/

Ext4 new feature - bigallocView more presentations from donghao.

查看全文: http://www.udpwork.com/item/6687.html

10月13日到14日两天参加了在江苏南京召开的CLSF（China Linux Storage & Filesystem）会议，说会议大了点，主要是大家一群对低层存储和文件系统感兴趣的同学（主要来自SUSE,Intel,南大富士通,淘宝，百度）坐在一起“勾兑”一番。
我绝对是文件系统领域的新手，所以尽管尽心记录，肯定还是很碎片，大家将就着看，如发现错误，欢迎狂喷狂问。

第一天先是由南大富士通的李泽帆介绍btrfs这一年来的新进展。

btrfs已经实现了透明的文件压缩。采用LZO压缩算法（zip压缩算法消耗CPU太大），存在磁盘上的是压缩后的用户数据，压缩单位是一个extent（一次压缩最大不得超过160k的数据）；用户在读取时，

查看全文: http://www.udpwork.com/item/6116.html

这一阵子的工作是在给ext4加feature，就是“让ext4的extent length的单位由block变为cluster“。一边写代码一边加测试用例，这个测试用例我就简单的用shell实现的，就用dd命令来写文件。

顺序写的时候还好，等到偏移写（seek一段再write）的时候出了kernel crash，原因是某个extent的length突然变成了0。一开始当然是怀疑我自己哪里写错了，于是加断点，调试，直到我去南京出差周末在宾馆也在调试（感谢马涛同学提供的虚拟机镜像，不然连不上vpn就没法调了），发现事情很神奇：我的extent开始length是2，dd之后还没干别的呢，length就变了，于是终于给dd加了个strac

查看全文: http://www.udpwork.com/item/6108.html

最近看ext4代码，注意到了 punch hole （打洞）功能，就是可以把文件中间的一部分内容释放掉，但是剩余部分的文件偏移不变。

于是我问马涛同学这个punch hole一般用在什么场合。

马涛：可以用在虚拟机上，比如你从虚拟机里删掉了一个大文件，虚拟机可以用punch hole在虚拟硬盘把这个文件占用的空间释放掉

我：有哪款虚拟机这样做？

马涛：这是文件系统提供给虚拟机的一个feature，虚拟机有了这个feature的支持就可以节省硬盘空间。比如host上装了多台虚拟机，每个虚拟机都通过punch hole的方式来删除自己虚拟的大文件，这样一段时间后，虽然各虚拟硬盘加起来空间很大，但是实际占用的空间就很小。应该有虚拟

查看全文: http://www.udpwork.com/item/5539.html

今天下午我的讲座，名字是《Why we need ext4》，其实主要是我上半年学到东西的一个小结

why we need ext4View more presentations from donghao.

查看全文: http://www.udpwork.com/item/5366.html

线上有应用使用了ext4文件系统的no journal模式(mkfs.ext4 -o ^has_journal /dev/sda)，最近反馈有目录丢失，dmesg里报错：
EXT4-fs error (device sda7): ext4_lookup: deleted inode referenced: 26214657

上周五我们用e2image把线上的硬盘镜像出来，然后fsck sda.img -fy对镜像文件进行修复，发现这些corrupt的目录（54个子目录）在inode table对应的内容全为空（不仅是nlink为0，连 ctime/atime/mtime等都是空），这不是rmdir能造成的（rmdir会修改 dti

查看全文: http://www.udpwork.com/item/5067.html

ext2文件的硬盘layout，看 http://learn.akae.cn/media/ch29s02.html 这篇文章，用od直接看ext2文件系统的二进制信息，最清楚了（当然，看kernel代码也行，但看静态的还是直观一些），文章帮了大忙，可惜不知道作者是谁。

不是每个Group都有super block、group descriptor的，比如一个磁盘划了8个Group，只有Group 0/1/3/5/7 这5个Group是有这两项的，如果Group数更多，那么另有挑选算法。其中super block只占一个block（所以不能创建block小于1k的ext2文件系统，因为太小了super block放不下），group

查看全文: http://www.udpwork.com/item/4132.html

Author:NinGoo posted on NinGoo.net
最近一位同事在美国参加LSF(Linux Storage and Filesystem Summit)回来，分享了他的总结，非常的精彩。这是一个没有演讲、没有照片、没有录像的讨论为主的会议，因此参会者基本上都是比较资深的Linux内核和文件系统的开发者，参加这个讨论会的有不少中国人（华人），相比起我们这些只是理解使用某个数据库产品的DBA来说，这是值得我们敬仰的一群人。也许在不远的将来，淘宝的DBA团队也不仅仅是一个维护某种数据库产品的团队，也能在开源数据库领域内贡献自己的力量，这也正是我们接下来招聘的思路所在。淘宝DBA团队，也已经建立了开源数据库研究小组，当

查看全文: http://www.udpwork.com/item/2426.html