IT牛人博客聚合

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Linux TASK_IO_ACCOUNTING功能以及如何使用

在过去我们了解系统IO的情况大多数是通过iostat来获取的，这个粒度只能精确到每个设备。通常我们会想了解每个进程,线程层面发起了多少IO，在Linux 2.6.20之前除了用systemtap这样的工具来实现是没有其他方法的，因为系统没有暴露这方面的统计。 disktop per设备per应用层面的IO读写统计，可以参考我之前写的，见这里.

透过lxr的代码确认，在Linux 2.6.20以后引入了TASK_IO_ACCOUNTING功能，通过把每个线程和进程的io活动通过/proc/p

查看全文: http://www.udpwork.com/item/6978.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang R14B04 released

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang R14B04 released

参见官方网站: http://www.erlang.org/news/26， 主要变更如下：

Erlang/OTP R14B04 has been released as planned on October 5:th 2011. It is the fourth R14 service release.

See the release notes in the readme file.

D

查看全文: http://www.udpwork.com/item/6007.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang Shell实用小技巧

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang Shell实用小技巧

Erlang Shell下有很多内置的命令，在平时交互的时候很好用，文档里面都是一行带过，大家可能没什么感觉。

我来重点讲解和演示下：

$ erl
Erlang R14B04 (erts-5.8.5) 1 [smp:2:2] [rq:2] [async-threads:0] [hipe] [kernel-poll:false]

Eshell V5.8.5 (abort with ^G)
1> help(

查看全文: http://www.udpwork.com/item/6008.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: seq_trace集群消息链跟踪利器

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: seq_trace集群消息链跟踪利器

做过网络集群服务器的的同学都知道，集群服务通常由不同的服务器组成，这些不同角色的服务器组合在一起共同完成了特定的服务。一个服务通常需要一个协调者，和不同的工作者。 协调者负责派发任务，接收工作者的完成情况，最终回馈给用户。举个例子来讲，拨打电话：首先需要确认你的号码是在有效的，同时还要看下你的帐号里面有钱不，还要看下你拨打的电话号码是不是由权限，电话打的时候需要扣钱，等等。 这些服务中间的任何一个环节出问题了，服

查看全文: http://www.udpwork.com/item/6010.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang进程简单的主动负载管制实现

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang进程简单的主动负载管制实现

我们知道Erlang的调度器是公平的，当进程的时间片用完了后，会强制切出，但是这个粒度是比较粗的。比如说进程进行了大量的Io操作，这个操作换成时间片是不准确的，会导致某些CPU计算密集型的比较吃亏，IO密集型的合算。

为了避免这个情况，IO密集型的经常可以互动要求短暂放弃执行，最简单的方法就是用消息等待机制。当进程在等消息的时候，就会被切出，我们就达到目的。

我们可以参考mnesia的实现：

%%mne

查看全文: http://www.udpwork.com/item/6009.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: hibernate使用注意事项

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: hibernate使用注意事项

hibernate的作用是在进程闲的时候或者内存紧张的时候，通过重新整理进程的堆和栈内存来减少内存的消耗，同时维持进程之前的状态，但是误用会引起些问题,这里我们来展开下。

erlang:hibernate文档参考这里

erlang:hibernate(Module, Function, Args)

Types:

Module = Function = atom()

Args = [term()]

Puts the

查看全文: http://www.udpwork.com/item/6011.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: 未公开的gen_tcp:unrecv以及接收缓冲区行为分析

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: 未公开的gen_tcp:unrecv以及接收缓冲区行为分析

gen_tcp:unrecv是个未公开的函数，作用是往tcp的接收缓冲区里面填入指定的数据。别看这小小的函数，用起来很舒服的。

我们先看下它的代码实现，Erlang代码部分：

%%gen_tcp.erl:L299
unrecv(S, Data) when is_port(S) ->
case inet_db:lookup_socket(S) of

查看全文: http://www.udpwork.com/item/6013.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang代码反编译以及查看汇编码

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang代码反编译以及查看汇编码

Erlang的代码是先翻译成abstract_code,再到目标代码的，如果有符号信息很容易恢复源代码，通常我们部署系统的时候需要把符号信息去掉，reltool就可以干这个事情！

我们演示下：

$ cat server.erl
-module(server).
-compile(export_all).

start() ->
start(1234).

start(Port) ->

查看全文: http://www.udpwork.com/item/6012.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: gen_tcp发送进程被挂起起因分析及对策

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: gen_tcp发送进程被挂起起因分析及对策

最近有同学在gmail上问关于gen_tcp发送进程被挂起的问题，问题描述的非常好，见底下：

第一个问题是关于port_command和gen_tcp:send的。从项目上线至今，我在tcp发送的地方遇到过两次问题，都跟port_command有关系。

起初程序的性能不好，我从各方面尝试分析和优化，还有部分是靠猜测，当初把全服广播消息的地方，换成了port_command，当时参考了hotwhee

查看全文: http://www.udpwork.com/item/6014.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang集群未公开特性：IP网段限制

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang集群未公开特性：IP网段限制

Erlang集群二个节点之间的通讯是通过一个tcp长连接进行的，而且是全联通的，一旦cookie论证通过了，任何一个节点就获得全集群的访问权，可以参考Erlang分布的核心技术浅析

。erlang的这个授权模式特定搞的这么简单，但是在实际使用中还是有安全性的问题。我们退而求其次，来个IP网段限制，这个功能Erlang是有的只是没有文档化。

我们来看下代码:

inet_tcp_dist.erl:L15

查看全文: http://www.udpwork.com/item/6015.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang集群自动化添加节点指南

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang集群自动化添加节点指南

Erlang的集群是由各个节点组成的，一个节点有一个名字来标识，而不管这个节点在网络的物理位置，所以在部署Erlang集群的时候就很方便。只要在集群里新启动一个节点，给个相对固定的引导的节点，让新节点和这个引导节点取得联系，由引导节点把新节点介绍入集群就OK了。

在实践中，新采购的机器上通常配置好IP,以及ssh访问权限。 我们需要在新机器上手工安装Erlang系统，部署新应用，然后启动应用节点，加入集群服务，这个

查看全文: http://www.udpwork.com/item/6016.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: leveldb性能分析和表现

Leveldb是一个google实现的非常高效的kv数据库，目前的版本1.2能够支持billion级别的数据量了。 在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计。特别是LSM算法。

那么数据库最怕的的随机IO他是如何解决的呢？

先说随机写，它的写都是先记录到日志文件去的，在日志文件满之前只是简单的更新memtable,那么就把随机写转化成了顺序写。在日志满了后，把日志里面的数据排序写成sst表同时和之前的sst进行合并，这个动作也是顺序读和写。大家都知道传统磁盘raid的顺序读写吞吐量是很大的，100M左右

查看全文: http://www.udpwork.com/item/5132.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Snappy(Google家用的快速压缩算法，以前的Zippy）

刚刚雕梁同学告诉我google刚刚开源了他自己家用的快速压缩算法，AKA Zippy, 看来下貌似不错。

项目主页： http://code.google.com/p/snappy/

Snappy is a compression/decompression library. It does not aim for maximum compression, or compatibility with any other compression library; instead, it aim

查看全文: http://www.udpwork.com/item/4578.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Linux下异步IO(libaio)的使用以及性能

Linux下异步IO是比较新的内核里面才有的，异步io的好处可以参考这里.

但是文章中aio_*系列的调用是glibc提供的，是glibc用线程+阻塞调用来模拟的，性能很差，千万千万不要用。

我们今天要说的是真正的原生的异步IO接口. 由于这几个系统调用glibc没有提供相应的封装，所以libaio来救急了：

libaio项目: http://oss.oracle.com/projects/libaio-oracle/

This is a library for accessing the new A

查看全文: http://www.udpwork.com/item/4559.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: 推介xz高压缩率算法

这几天看到Linux内核2.6.38发布的release说明里面提到:

The version .38 kernel comes with a library for decompressing XZ, a format developed from LZMA and known for its high levels of compression. This library is the basis not only for SquashFS, which now also offers XZ, but also for code t

查看全文: http://www.udpwork.com/item/4537.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Linux 2.6.38 User-space interface for Crypto API

Linux内核里面自带非常多的加密模块,这是模块经过调优性能非常高, 而且现在又很多硬件本身支持加密功能,比如intel的CPU支持AES加密指令,那些内核的那帮人知道更好如何利用这些硬件更快的完成加密功能的, 他们写的这些硬件的驱动在drivers/crypto目录里. 所以如果我们能在用户空间的应用程序中用到这些加密库有二个好处: 1. 无须再造轮子. 2. 性能高.

幸运的是2.6.38的内核给我们带来了这些功能. 这些功能是通过socket方式暴露的

查看全文: http://www.udpwork.com/item/4530.html