IT牛人博客聚合

Google Guava cache的主要功能点：

    * 你需要给现有系统加速；

    * 有些key需要不知一次的查询获取；

    * 从策略上讲，你的应用需要从策略上把所有的value从cache中清理出来 — 你试图减少重复的工作；[注：weakKey , weakValue]

    * cache仅仅存储在内存中，没有在文件中或者其他的server上面，如果不满足你的需求，可以考虑Memcached

API的两种调用方式

1：普通的调用方式，通过key得到

查看全文: http://www.udpwork.com/item/7071.html

前几天因为测试新版的Flashcache，为了便于监控性能指标，用Perl写了个秒级的监控程序Flashstat，一开始是通过定期获取dmsetup status的信息做解析，后来在flashcache-dev邮件列表中讨论时，Flashcache的作者Mohan Srinivasan说他已经将dmsetup status的信息暴露在/proc/flashcache_stats中，可以更加方便的解析。

实际上，不同版本的Flashcache，输出的性能指标有一些变化。较老的stable_v1版本的性能指标暴露在/proc/flashcache_stats，但是有些重要的指标没有包含进来，例如metadata ssd writes。

查看全文: http://www.udpwork.com/item/6697.html

年底事情比较多，中断了一段时间，这一篇总算要说到Flashcache本身了。由于是内核模块，安装的时候需要内核源码树。具体的安装过程可以参考这里。

make -j 4 KERNEL_TREE=/usr/src/kernels/2.6.32-131.0.15.el6.x86_64
sudo make install

最初版本的Flashcache只支持writeback，后来单独开了一个支持writethrough的分支在flashcache-wt目录，但目前最新的版本已经将write through合并到主版本，并且增加了write around策略。

最新的源码可以到Github获取。

env GIT_SSL_NO_VER

查看全文: http://www.udpwork.com/item/6678.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: posix_fadvise清除缓存的误解和改进措施

在典型的IO密集型的数据库服务器如MYSQL中，会涉及到大量的文件读写，通常这些文件都是通过buffer io来使用的，以便充分利用到Linux操作系统的page cache。

Buffer IO的特点是读的时候，先检查页缓存里面是否有需要的数据，如果没有就从设备读取，返回给用户的同时，加到缓存一份;写的时候，直接写到缓存去，再由后台的进程定期涮到磁盘去。这样的机制看起来非常的好，在实践中也效果很好。

但是如果你的IO非常密集，就会出现问题。首先由于pagesize是4K，内存的利用效率比较低。其次缓存的

查看全文: http://www.udpwork.com/item/6506.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Flashcache新添加驱逐空闲脏页参数

我在之前的博文提过Flashcache的cache是以set为单位管理的，每个set默认2M。 当单个set里面的脏页数量超过dirty_thresh_pct的时候，就会启动背景工作队列来把超过设置的脏页回写到后备磁盘去。 这里有别的同学对flashcache设计文档的翻译.

参看dirty_thresh_pct的文档解释：

dev.flashcache..dirty_thresh_pct = 20

Flashcache will attempt to keep the dirty blocks

查看全文: http://www.udpwork.com/item/6504.html

前文简单介绍了block device和device mapper。有了这两个基础，再来看flashcache的代码，就容易理解多了。Flashcache是一个内核模块，要更清晰的理解代码，还需要了解一下内核模块编写的一些基础知识。好吧，虽然对于内核编程我完全是个门外汉，这里还是需要现学现卖下。所以这一篇还是不会切入正题，已经熟悉Linux内核模块的同学请忽略并耐心等待。

Linux内核支持动态的加载模块（Loadable Kernel Module，LKM）以完成某些特定的功能，模块编程需要按照一定的格式以便可以和内核交互。

5. 内核符号表

内核模块之间的交互需要通过特定的共享变量和函数，这些都需要输出到内核符号表。在模块

查看全文: http://www.udpwork.com/item/6501.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: vmtouch－系统pagecache查看和操纵器

今天看到dbanote这篇博文介绍的技术清单，里面列到了很多有意思的技术。其中提到了一个小工具vmtouch，主页见这里。

vmtouch – the Virtual Memory Toucher

Portable file system cache diagnostics and control

vmtouch is a tool for learning about and controlling the file system cache of unix and unix-like s

查看全文: http://www.udpwork.com/item/6494.html

前文简单的介绍了block device，别急，虽然这个系列的主要目的是介绍Flashcache，这一篇还是不会切入正题，因为我们还需要先了解下什么是device mapper。

假如一台主机插入了多块硬盘，单块硬盘的容量和性能都是有限的，如果能将多块硬盘组合一个逻辑的整体，对于这台主机来讲，就实现了最简单意义上的“云存储”。有很多方法可以实现这个目的，比如Raid卡硬件，比如现在很流行的分布式文件系统的replica机制，等等。Linux内核也看到了这个需求，于是2.6有了device mapper，当然device mapper不只是满足这一个需求，对于多路径IO也做了支持。

3. Device Mapper

简单来讲，D

查看全文: http://www.udpwork.com/item/6453.html

Cache is king.

在计算机系统中，cache的魔爪无处不在。CPU中有L1,L2,甚至L3 cache;Linux有pagecache，MySQL有buffer cache/query cache;IO系统中Raid卡/磁盘也有cache;在大型互联网系统中，数据库前面一般也都有一层memcache。Cache是容量与性能之前取平衡的结果，以更低的成本，获得更高的收益，是系统设计时应该遵循的原则。

传统机械硬盘几十年来，容量不断翻倍的增长，相比较而言，性能的增长就慢的像蜗牛了。对于依赖IO性能的应用，典型的如数据库，一直在等待新的技术来拯救。在此之前，身躯庞大的高端存储，动辄重达几吨。相比于存储里带的硬盘来说，价格贵

查看全文: http://www.udpwork.com/item/6454.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Flashcache使用的误区以及解决方案

flashcache是facebook释放出来的开源的混合存储方案,用ssd来做cache提升IO设备的性能.很多硬件厂商也有类似的方案，比如说LSI raid卡. 但是这个方案是免费的软件方案，而且经过产品的考验，具体参见：

主页：https://github.com/facebook/flashcache

开源混合存储方案(Flashcache)： http://blog.yufeng.info/archives/1165

Flashcache新版重大变化： http://blog.yufeng.info/

查看全文: http://www.udpwork.com/item/6175.html

1. 安装memcached

我们在python环境下使用pylibmc客户端，这个客户端依赖于libmemcached这个库。在Mac下，直接用homebrew安装libmemcached，它会自动安装memcached：

brew install libmemcached

版本有点老，但不要紧。

2. 安装pylibmc客户端

用easy_install，事先声明libmemcached的地址：

sudo LIBMEMCACHED=/usr/local/Cellar/libmemcached/0.43 easy_install pylibmc

3. 使用

详见这里：http://sendapatch.se/pro

查看全文: http://www.udpwork.com/item/5768.html

　　[文章作者：张宴 本文版本：v1.0 最后修改：2011.07.26 转载请注明原文链接：http://blog.s135.com/httpsqs_1_7/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.s135.com/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用6

查看全文: http://www.udpwork.com/item/5530.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Flashcache新版重大变化

facebook释出的flashcache见 https://github.com/facebook/flashcache， 也可以参考我之前写的 ppt 如何使用，或者参考我们的dba写的详细使用和配置，见 这里, 这里, 这里

7月20号，作者Mohan做了重大的改变，极大的提高了易用性。

1) Integration of all 3 caching modes (writeback, writethrough and

writearound) into the main flashcache module. Fl

查看全文: http://www.udpwork.com/item/5507.html

互联网架构中缓存无处不在，某厂牛人曾经说过：”缓存就像清凉油，哪里不舒服，抹一下就好了”。高品质的存储容量小，价格高；低品质存储容量大，价格低，缓存的目的就在于”扩充”高品质存储的容量。本文探讨缓存相关的一些问题。

LRU替换算法

缓存的技术点包括内存管理和替换算法。LRU是使用最多的替换算法，每次淘汰最久没有使用的元素。LRU缓存实现分为两个部分：Hash表和LRU链表，Hash表用于查找缓存中的元素，LRU链表用于淘汰。内存常以Slab的方式管理。

上图是Memcache的内存管理示意图，Memcache以Slab方式管理内存块，从系统申请1MB大小的大块内存并划分为不同大小

查看全文: http://www.udpwork.com/item/5303.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Linux高速缓存使用率调查

Linux的高速缓存pagecache对性能的影响至关重要，但是实际系统中我们的利用率如何呢，特别是具体到每个设备的利用情况。

从下图我们可以很清楚的看到：

我们知道IO请求由vfs发起，经过pagecache缓存，挡不住的就落实到io设备去，那么统计这个利用率就很简单。 我们只要知道挡不住的IO的比例就好了。

我写了个systemtap脚本来解决这个问题：

$ uname -r
2.6.18-164.el5

$ sudo rpm -i kernel-debuginfo-common-2.6.18-164.el5.x86

查看全文: http://www.udpwork.com/item/5150.html

　　[文章作者：张宴 本文版本：v1.0 最后修改：2011.04.21 转载请注明原文链接：http://blog.s135.com/httpsqs_1_6/]

　　HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用文档：http://blog.s135.com/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用6

查看全文: http://www.udpwork.com/item/4902.html