IT牛人博客聚合

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang虚拟机基础设施dtrace探测点介绍和使用

最新的Erlang虚拟机（R15B01）很大的一个改进就是加入了对dtrace探测点的支持了， 具体参见这里, 主要目标是方便在生产实践中定位复杂的性能问题。

目前Erlang的虚拟机的探测点支持Linux的systemtap和freebsd的dtrace，我们刚好能够享受的到。

作者Scott Lystig Fritchie在去年的euc中做了个很有意思的报告，参见这里，该PPT很详细的介绍了利用dtrace的探测点可以观察到erlang的行为如下：

Processes: spawn, exit,

查看全文: http://www.udpwork.com/item/7194.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang节点互联失败原因分析以及解决方案

今天和项仲在部署新系统的时候发现节点间ping不成功的情况，类似

1> net_adm:ping(‘xx@ip1′).

pang

由于这个问题比较普遍，我就记录下一步步的排除步骤.

首先从原理上分析下!由于erlang节点间通讯是透过tcp来进行的，所以我们确保以下几点：

1. 确保网络连接是通的，可以透过ping来查看。

2. 确保网络连接上tcp是可以通的，可以透过netcat在二个节点所在的机器上分别开个服务器端和客户端进行验证。

3. 确保端口是防火墙友好的。erlan

查看全文: http://www.udpwork.com/item/7046.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang R15B 全新的observer

新发布的R15B在亮点里面提到：

There is a new GUI tool in the observer application which integrates pman, etop, appmon and tv into one tool. The tool does also contain functions for activating tracing in an easy way.

这个observer完全用wx重新改写过，界面操作速度非常块，整合了几个常用的观察工具，很方便用户，我们来

查看全文: http://www.udpwork.com/item/6540.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang虚拟机内存使用问题以及监控

Erlang虽然号称N个9的稳定性，但是在实际使用中还是有很多机会看到Erlang Crash了的，其中和VM相关的Crash 十有八九是由于内存使用过量，导致系统服务分配内存导致的。Erlang的内存分配测量是集中批发，零售给各个VM部件，包括用户进程和ETS数据库等内存消费大户。VM的内存增长是以fib方式上升的，一旦你的内存使用到G级别，那么之后的大量内存分配会以超过你预想的速度消费。

其中用户进程的消息队列是其中的罪魁祸首。 Erlang的虚拟机实现和设计上都没有阻止用户往一个进程的消息队里面扔消息，当消息的生

查看全文: http://www.udpwork.com/item/6479.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: gen_tcp接受链接时enfile的问题分析及解决

最近我们为了安全方面的原因，在RDS服务器上做了个代理程序把普通的MYSQL TCP连接变成了SSL链接，在测试的时候，皓庭同学发现Tsung发起了几千个TCP链接后Erlang做的SSL PROXY老是报告gen_tcp:accept返回{error, enfile}错误。针对这个问题，我展开了如下的调查：

首先man accept手册，确定enfile的原因，因为gen_tcp肯定是调用accept系统调用的:

EMFILE The per-process limit of open file de

查看全文: http://www.udpwork.com/item/6466.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: 很容易忽略的ETS表个数限制问题

最近经常碰到ets表使用的数目超过系统的限制导致Erlang应用异常的案例。 比如说神锋同学报告说在ssh模块里面，最多只能打开500个左右链接，系统空闲的很，但是无法继续加大链接。 浩庭同学报告说mnesia的事务只能开1千多，多了就上不去了。这些问题看起来没有关联。但是其实和ets都有很大的关系,而且会报system_limit错误。

Erlang系统的限制见这里： http://www.erlang.org/doc/efficiency_guide/advanced.html#id215064

其中和ets相关的：

查看全文: http://www.udpwork.com/item/6435.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang open_port极度影响性能的因素

Erlang的port相当于系统的IO，打开了Erlang世界通往外界的通道，可以很方便的执行外部程序。 但是open_port的性能对整个系统来讲非常的重要，我就带领大家看看open_port影响性能的因素。

首先看下open_port的文档：

{spawn, Command}

Starts an external program. Command is the name of the external program which will be run. Command runs outsi

查看全文: http://www.udpwork.com/item/6357.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang R15的内存delayed dealloc特性对消息密集型程序的影响

在新的NUMA体系结构下，每个CPU都有自己的本地内存，如果要访问其他CPU的内存，那算remote了，要走CPU之间的QPI通道，通常这样速度会有40%的下降。

那么对于多线程的程序来讲，这个硬件的变化对软件也有很大的影响。在多线程程序里面，通常一个线程会为一个对象分配内存，然后把这个对象传递到不同的线程去使用，最后由其他线程释放内存。而这二个线程可能在不同的CPU上运行，这个场景很普遍，比如说Erlang的消息机制。如果谁创建谁释放对象，提高内存倒腾的效率，那么对于消息密

查看全文: http://www.udpwork.com/item/6351.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Linux下pipe使用注意事项

Linux下的pipe使用非常广泛, shell本身就大量用pipe来粘合生产者和消费者的. 我们的服务器程序通常会用pipe来做线程间的ipc通讯. 由于unix下的任何东西都是文件,只要是文件,在读取的时候,,就会设置last access time, 所以pipe也不例外., 但是这个时间对我们没有意义 如果pipe使用的非常频繁的时候会碰到由于设置访问时间导致的性能问题. 这个开销远比pipe读写的本身开销大. 相比文件读写的开销, atime微不足道,但是对pipe来讲就不同了.

这个事情是上次和多隆同学在把玩他

查看全文: http://www.udpwork.com/item/6254.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang版TCP服务器对抗攻击解决方案

互联网上的TCP服务器面对的环境情况比企业私有的服务器要复杂很多。常见的针对tcp服务器的攻击有以下几种：

1. 伪造协议，导致服务器crash. 比如说某条命令的字段长度，协议最大规定是1024，伪造个4096的。

2. 伪造大的报文。比如说一个包有1024M这么大。

3. 消耗服务器资源。开大量的连接， 以龟速发送报文，比如说每分钟一个字节。

4. DDOS攻击，从不同的IP发起大量的连接。

5. 攻击Erlang集群的授权体系。

6. 报文发送顺序逻辑错误，导致服务器crash. 比如说逻辑上应

查看全文: http://www.udpwork.com/item/6195.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Flashcache使用的误区以及解决方案

flashcache是facebook释放出来的开源的混合存储方案,用ssd来做cache提升IO设备的性能.很多硬件厂商也有类似的方案，比如说LSI raid卡. 但是这个方案是免费的软件方案，而且经过产品的考验，具体参见：

主页：https://github.com/facebook/flashcache

开源混合存储方案(Flashcache)： http://blog.yufeng.info/archives/1165

Flashcache新版重大变化： http://blog.yufeng.info/

查看全文: http://www.udpwork.com/item/6175.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: 简单的Map reduce用的收集函数

在处理大量重复任务的时候，为了加快速度，通常会用map-reduce的方式，要是能有段代码做这个事情就好了。作者luke写了底下的代码片段，用起来感觉挺爽的，推荐给大家。原文见这里

%% http://lukego.livejournal.com/6753.html – that doesn’t care about

%% the order in which results are received.

upmap(F, L) ->

Parent = self(),

Re

查看全文: http://www.udpwork.com/item/6170.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: 看multitrace代码学习如何定制自己的dbg信息

multitrace是ttb应用带的一个例子，给了个例子让用户来格式化和定制自己的dbg信息。 文档在这里：

The module multitrace.erl which can be found in the src directory of the Observer application implements a small tool with three possible trace settings. The trace messages are written to binary file

查看全文: http://www.udpwork.com/item/6171.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang如何限制节点对集群的访问之net_kernel:allow

默认情况下Erlang的集群访问是全授权的，只要cookie认证过了后，新加入的节点可以访问集群里面的任何机器，这给运维带来很大风险。目前erlang有二种方法可以限制 1. IP网段限制，参看这里 2. 节点名称限制。这个是通过net_kernel:allow来实现的，参看：

allow/1

Limits access to the specified set of nodes. Any access attempts made from (or to) nodes not in N

查看全文: http://www.udpwork.com/item/6107.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Erlang epmd的角色以及使用

很多同学误会了epmd的作用，认为epmd就是erlang集群的协议，我来澄清下：

Epmd是Erlang Port Mapper Daemon的缩写，在Erlang集群中的作用相当于dns的作用，提供节点名称到端口的查询服务，epmd绑定在总所周知的4369端口上。

epmd文档：这里

epmd协议：这里

Erlang的节点名称是类似这样的foo@ip的格式，当一个节点启动的时候，首先会在本机启动epmd,同时把自己的节点名称和节点监听的tcp端口登记在上面。

看代码：

// erlexec.c
...
ca

查看全文: http://www.udpwork.com/item/6102.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: trace机制新增exception_trace

我们在使用Erlang的时候，经常会发现exception被静悄悄得忽略掉了，这点对于诊断问题非常的不友好。R14B04新添加exception_trace帮助用户在异常的时候，得到异常得调用栈，就马上可以解决问题。 这个功能主要面对高级用户，文档里面没怎么描述这个事情，主要的实现在erts的trace模块里面，有兴趣的同学可以自己看看。

我来演示下这个功能：

$ cat test.erl
-module(test).
-compile(export_all).
start(A)->
spaw

查看全文: http://www.udpwork.com/item/6092.html