IT牛人博客聚合

我在sina的时候，那时候还比较穷，很少有机器带的有raid卡，于是我就研究怎么在solaris/linux/freebsd下做软raid。你别笑，我们那系统太繁杂了，什么样的OS都有。系统部主任有句名言：“冗余不做，日子甭过；备份不做，十恶不赦。”

后来到了完美，比较有钱，几乎所有机器都是raid1或者raid5+hotspare，连平时不怎么用的内网测试机都是。老兔负责机器采购，他的观点是，硬盘坏了就得歇息，我们开发任务这么紧，让100多号人因为你硬盘坏了歇上半天，你耽误的起吗？ 万一明天是情人节，新活动上线呢？难道你等到后天再上？

到了现在这个公司后，我在内网的测试机上装FreeBSD但是发现HBA卡的内置raid功能用不

查看全文: http://www.udpwork.com/item/6830.html

我最近在做一套数据统计平台。这周，写了一个工具，从mysql里面读数据，转换成protocol buffers的格式，然后写入到leveldb中。测试了一下性能，大概是每秒2万条左右（单线程），每条记录长度100个字节。weibo上@郝立华 说“mysql自己dump成sql的速度比你这个快多了”，但是我比较怀疑。因为mysql一秒钟想插入几万条记录，还是很困难的。However，我的最主要的目的是转格式，因为sawzall的input只认两种格式，protocol buffers和plain text。

如我之前的blog所说，这个数据流，主要分三个处理阶段：map、sort、reduce。google的文档中常说第二个阶段是s

查看全文: http://www.udpwork.com/item/6770.html

今天试用了一下mysql connector/C++，感觉很不错。这个函数库的目的就是，仿照JDBC的接口，给mysql做一套C++的。这样就让我感觉很爽。因为我有时候需要写C++，有时候需要写JAVA。这种跨语言的接口规范真是让我感觉很爽。再比如XML解析器，我就比较喜欢xerces而不是libxml2，因为xerces的接口尽力的遵守W3C DOM规范。

嗯，我明天找找文档，看如何把代码模块化，动态载入so。

查看全文: http://www.udpwork.com/item/6763.html

（这是一篇草稿，记下来给自己备忘。如果有人感兴趣，我整理下写详细点）。

Sawzall是7-8年前，google所用的一套的数据统计系统。在今天看它虽然已经过时了，但是瘦死的骆驼也比马大，它的很多设计点依然非常值得我们学习参考。

下面举一个例子：

有一个视频网站，它有很多注册用户。每个用户每看一个视频，它就会记录下这个用户看了什么视频。日志文件的每一行都是这样的形式：

33433,5454545

前面一个数字是userid（哪个用户），后面一个数字是program_id(看了哪个视频）。

现在要求根据这些日志文件，产生一个新的数据文件，使得我能根据userid能快速的查到这个用户看过哪些视频。只记录视频ID，不用这个视频

查看全文: http://www.udpwork.com/item/6741.html

我之前怀疑ICE会不会因为太臃肿了，而导致RPC效率不高。于是从前天开始，就准备重新用google protocol buffers实现一套，比一比。今天下午快下班的时候，终于写完，并做了benchmark。结果与ICE差不多，没有明显差异，在单线程的客户端上依然是7000-8000的QPS。不过悲剧的是，服务器端有内存泄漏。哈哈…… 明天慢慢找吧。另外，之所以重写，是因为我想采用thread-per-connection的模型，本来是想提高CPU使用率，可是后来一想，其实。。。唉，难说。如果像现在这样，单个客户端很难把服务器的CPU吃满，那么这种模型也还好。但是如果慢慢的把更多的逻辑加进去，而客户端的请求量不均等的话，那么不是很好

查看全文: http://www.udpwork.com/item/6585.html

前一阵给一个朋友买了一个ubuntu的vps，做ssh proxy用。今天收到短信，说上不去了。

然后吧，比较悲剧的是我发现我也连不上这个服务器了。然后只好从grub修改启动方式，进去改root密码。顺便吐槽下，ubuntu的reset root password的方式千变万化，不同的版本必须用不同的方式，你要是想像以前那样，直接加single进入单用户模式，sorry，bye-bye 。。。

进去之后，发现/var/log是被清掉的。root的.ssh目录下的authorized_keys已经被改掉了。真是个悲剧吖。

然后我赶紧把sshd的配置文件review了一遍，把基于密码的登录方式禁用掉，把root的远程登陆也禁用掉。

查看全文: http://www.udpwork.com/item/6551.html

前一阵给一个朋友买了一个ubuntu的vps，做ssh proxy用。今天收到短信，说上不去了。

然后吧，比较悲剧的是我发现我也连不上这个服务器了。然后只好从grub修改启动方式，进去改root密码。顺便吐槽下，ubuntu的reset root password的方式千变万化，不同的版本必须用不同的方式，你要是想像以前那样，直接加single进入单用户模式，sorry，bye-bye 。。。

进去之后，发现/var/log是被清掉的。root的.ssh目录下的authorized_keys已经被改掉了。真是个悲剧吖。

然后我赶紧把sshd的配置文件review了一遍，把基于密码的登录方式禁用掉，把root的远程登陆也禁用掉。

查看全文: http://www.udpwork.com/item/6552.html

Tunnelier是一个相当不错的  ssh -D 工具。我以前利用openssh执行ssh -D ，但是经常会断线，即便在ssh的配置文件中加了协议层的keepalive也还是。但是Tunnelier这个工具就把这个问题解决的比较好，重连呗。

但是Tunnelier在导入sshkey的时候有问题，我用openssh生的很多key导不进去。

—————————
Import Failure
————————

查看全文: http://www.udpwork.com/item/6496.html

算一下，从完美离职，差不多已经一年。很多事情放在当时看不清楚，而只有放在一个相对较远的时间点再去看，才能看的明白。

我在完美，算是运气极好的那种人吧。当时面试的时候我并不知道我面的是哪个部门，进去之后才知道是数据安全部。刚开始有些诧异这个部门是做什么的，后来才发现，它有点类似于完美的研究院，各种基础性的研发，比如数据库、网络框架、OS定制化都是在这里做。但是它又和纯研究性质的研究院不同，它也做项目。而我所参与的，就是它的第一个游戏项目。

回过头想，你说一个刚毕业不久的学生，最需要什么？户口？很高的起薪？这些完美都提供了，但是倘若被这些蒙蔽，那么就有些可惜了。刚进完美的时候，panpan给我们开了一个会，我至今记忆深刻。大意是说，

查看全文: http://www.udpwork.com/item/6474.html

这是拿root之前必须要做的事情。

下载android SDK，http://dl.google.com/android/installer_r15-windows.exe 并安装。我就默认安装到C盘了。

在SDK Manager里面下载需要包。首先，在Android 2.3.3(API 10)下面选上SDK Platform。然后，在Extras里面选上USB Driver。然后依次安装。

.android\adb_usb.ini 加一行0×1949

打开C:\Program Files (x86)\Android\android-sdk\extras\google\usb_driver\android_winu

查看全文: http://www.udpwork.com/item/6455.html

29号回京，30号休息一天，收拾东西，取kindle。然后从31号到现在，一直在给我的电脑重装系统，今天已经是第四天。

重装系统的原因有这么几个：C盘满了，怎么清理都没用。然后因为用了2年了，反复的装软件、卸软件，很多软件在系统内留下了许多垃圾，越来越慢。然后是诺顿非要把我的Thunderbird的Inbox文件删除，不给我任何其它选项。隔几分钟弹一次，我实在是烦了。 我之前吃过一次这样的亏，我在跟人聊QQ，忙着打字，然后按了一下回车。但是当时机器卡了一下，在我按回车之前，诺顿跳出来了，问我是否要删除Inbox文件，我按了下回车，其实这个操作本来该发给QQ的，却发给了诺顿，然后我的邮件就统统被删除了，诺顿说因为文件太大，所以就没有

查看全文: http://www.udpwork.com/item/6452.html

前几天托Rutte从美国给我带回来两个Kindle Fire，但是我当时不在北京，于是就托zzyong代我保管，昨天去找他拿回来。自己留了一个，另一个转手以原价卖给以前的同事了。

拿到Kindle Fire之后，发现屏幕是镜面反光的那种，真的可以当镜子用啊。不喜欢！开机。关联amazon账号，然后四处逛逛，然后就不知道干嘛了。微博上有人说Kindle Fire配盛大的云中书城不错。我试了一下，果真如此。直接打开http://www.yuncheng.com/ 然后安装标准的Android客户端就行了，在Kindle Fire上跑的挺好。Kindle上的内容虽丰富，但主要都是英文的。而盛大帮他填补了这个空白。

然后我就想要不要装一

查看全文: http://www.udpwork.com/item/6434.html

CPU主频涨不上去了，一直停留在2-3G。前端总线的时钟频率也涨不上去了，我现在用的这个小黑，Intel Core2 P8600，前端总线的时钟频率只有266MHz。于是，虽然内存越来越便宜了，但是没有那么大的高速带宽来连接CPU和内存啊。

于是NUMA出现了。CPU组成node，每个node各自管理几十G内存，然后node和node之间通过Point-to-Point的方式建立高速直连。于是系统总线就没了，出现一个新名词，QPI，指那个快速访问通道，它不光连接内存和CPU，还连接其它外设如显卡。但是有个重要的结果是：CPU到每根内存条的“距离”是不相等的。有的是直连，所以速度很快，而有的需要绕到另一个node去拿，这样不仅速度慢

查看全文: http://www.udpwork.com/item/6099.html

Intel从2008年，core i7，开始引入QPI，QuickPath Interconnect。core i7采用的是Nehalem架构（第一款？），QPI的主要作用是取代原有的前端总线，

QPI的时钟频率主要有两种标准：2.4GHz或3.2GHz。每个时钟频率内可以传输两次，所以Intel手册中所说的bit rates是指每秒能传输多少次，单位GT(G Transfters per second)，如前面两种分别对应着4.8GT和6.4GT。

 
前端总线
QPI

拓扑
BUS
Link

信号技术
GTL+
differential signaling

Rx Data Sampling
source sy

查看全文: http://www.udpwork.com/item/6080.html

http://news.ifeng.com/mainland/detail_2010_11/15/3117790_0.shtml

首先，计算机又不是汽车轮子，哪能用每秒多少次来衡量啊？

“天河一号”总设计师杨学军告诉新华社记者：“该项目的一大创新是CPU和GPU的结合技术。GPU是用来读取图像和视频的，还从未用过计算，因此我们花了大量精力来提高GPU的效率。实践证明，这条新路子行得通。”

拿GPU做数值计算是哪门子创新啊，这种架构就算放在3年前也根本不算什么创新。

“天河一号”目前投资达6亿元人民币，采用了14396颗英特尔处理器，和7168块英伟达高性能计算卡，而2048颗国产“飞腾”处理器也首次得以投入使用。

我觉得最

查看全文: http://www.udpwork.com/item/3438.html

如果某人被法院判死刑枪毙了，判决书上的理由是：“此人名誉不好，很多人说这个人是坏人。”你能接受吗？

伟大的诺顿就制定了这么一条罪名：http://www.symantec.com/security_response/writeup.jsp?docid=2010-051308-1854-99

WS.Reputation.1

Updated:
May 13, 2010 8:18:54 AM
Type:
Other
Risk Impact:
High
Systems Affected:
Windows XP, Windows Vista, Windows NT, Windows Server 2003, Windows

查看全文: http://www.udpwork.com/item/3431.html