IT牛人博客聚合

Mysql

About MySQL development (Optimizer mainly)

Andrew Morgan’s MySQL Cluster Database Blog

Arjen’s Journal

Baron Schwartz

Big DBA Head!

Chris on MySQL

Chuck’s Blog

code.openark.org

Colin Charles Agenda

dba square | A resource on MySQL

didrik @ MySQL

DimitriK’s (dim) Weblog

domas m

查看全文: http://www.udpwork.com/item/7343.html

Cloudera和CouchBase最近以“为什么NoSQL和Hadoop该一起使用？”为题做了个主题分享，其中对传统IT架构和Big Data架构做了很好的对比，很值得一看。

Why Every NoSQL Deployment Should Be Paired with Hadoop Webinar
View more presentations from Cloudera, Inc.

关于作者

冠诚, IBM中国研究院, 研究员

关注大规模分布式系统、并行计算。

任何与多核、并行、多线程有关的话题都可以找我聊聊:-)

我的邮箱是chenguancheng AT gmail.com

Buzz 豆瓣 新浪微博

查看全文: http://www.udpwork.com/item/7316.html

全文译自墙外文章“NoSQL Data Modeling Techniques”，译得不好，还请见谅。这篇文章看完之后，你可能会对NoSQL的数据结构会有些感觉。我的感觉是，关系型数据库想把一致性，完整性，索引，CRUD都干好，NoSQL只干某一种事，但是牺牲了很多别的东西。总体来说，我觉得NoSQL更适合做Cache。下面是正文——

NoSQL 数据库经常被用作很多非功能性的地方，如，扩展性，性能和一致性的地方。这些NoSQL的特性在理论和实践中都正在被大众广泛地研究着，研究的热点正是那些和性能分布式相关的非功能性的东西，我们都知道 CAP 理论被很好地应用于了 NoSQL 系统中（陈皓注：CAP即，一致性(Consistenc

查看全文: http://www.udpwork.com/item/7283.html

目前NoSQL产品最被人诟病的就是其稳定性，不得不承认，目前HBase离做到数据库那样的高稳定还有距离（丢数据、不能读写、DDL失败等严重问题），这篇blog将用来记录我们在运维HBase时碰到的问题（会不断更新），希望能给使用HBase的同学有一些帮助。

1、单台regionserver的region数很多后写速度疯狂下降

具体请见：http://koven2049.iteye.com/blog/1144526

2、region server OOM

碰到过两种造成region server OOM的状况：

* rowKey设计的问题，写的一直是同一行，version配置的又比较大，无法split，从而

查看全文: http://www.udpwork.com/item/6109.html

根据最近生产环境使用的经验，更多的项目的采用，以及采用了更加自动的测试平台，对HBase做了更多的场景的测试，在这篇blog中来分享下纯粹的随机写和随机读的性能数据，同时也分享下我们调整过后的参数。

测试环境说明：

1、Region Server： 5台，12块1T SATA盘(7200 RPM)，No Raid，物理内存24G，CPU型号为E5620；

启动参数为：-Xms16g -Xmx16g -Xmn2g -XX:SurvivorRatio=2 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=

查看全文: http://www.udpwork.com/item/5647.html

8月2日（下周二）内部分享的ppt，分为几个部分：

1, 单机存储引擎看SQL与NOSQL；

2, NOSQL从单机扩展到多机的关键点；

3, 从Megastore看SQL与NOSQL的融合；

4, 设计实现的一些Work around方法及技巧；

ppt比较简单，这几天将针对其中的”单机扩展到多机“问题写一篇博客。

“云存储系统”赏析系列分享三：Sql与nosql
View more presentations from knuthocean

查看全文: http://www.udpwork.com/item/5566.html

这是根据最近HBase项目的一些经验，还有NB的Advanced HBase的slide重写的一份关于HBase的介绍，熟手可基本忽略此slide，:)

Hbase简介与实践分享
View more presentations from BlueDavy

查看全文: http://www.udpwork.com/item/5442.html

Facebook之前上线了新的messages实现，以前草草的看过相关的几篇blog还有facebook同学在qcon上讲的hbase的slide，但其实看的都很粗略，尤其是之前去facebook和相关同学交流后，发现和自己之前理解的太不一样了，于是近几天又翻出了messages的几篇blog来仔细的看了看，看完后的感触就是facebook在设计其messages实现时，会尽可能做到物尽其用，对于不满足的则更多的是在应用层来处理，这样可以保证很好的灵活性以及扩展性，下面就来讲讲我现在理解的facebook messages实现，请各位看官拍砖，:)

Facebook的这套新的messages实现用于email/sms/即时聊天等多

查看全文: http://www.udpwork.com/item/5374.html

NoSQL现在风生水起，hbase的使用也越来越广，但目前几乎所有的NoSQL产品在运维上都没法和DB相提并论，在这篇blog中来总结下我们在运维hbase时的一些问题以及解决的方法，也希望得到更多hbase同行们的建议，:)

在运维hbase时，目前我们最为关注的主要是三大方面的状况：

1. Cluster load；

2. 读写；

3. 磁盘空间。

1. Cluster load

集群的load状况直接反映了集群的健康程度，load状况的获取非常容易，直接部署ganglia即可得到，由于hbase以优秀的可伸缩性著称，因此多数情况下load超出接受范围时加机器是一个不错的解决方法，当然，这还和系统的设计和使用hbas

查看全文: http://www.udpwork.com/item/5342.html

前面如何优化/监控MongoDB的部分介绍很实用..

这是针对MongoDB本身设计来做的优化,,主要是Json格式内置的弊端,,如何取长补短.

Optimizing MongoDB: Lessons Learned at Localytics
View more presentations from andrew311

No related posts.

查看全文: http://www.udpwork.com/item/5212.html

Facebook在谈到其选择HBase作为新的message体系的存储时，提到了一点是hbase的高性能写，那hbase的写性能状况到底如何了，还是需要靠测试来说明，在这篇blog中就以我们目前做的一些测试来看看hbase的写速度，以及分享下我们对于测试中体现出来的数据的分析和测试时碰到的一些问题，还希望对hbase有研究或实践的同学多加指正。

测试环境：

1、4个client，每client 25个写线程，每个client写入1kw数据，其他还有一些更长时间的测试，例如连续写7个小时等；

2、12台region server（8 core 超线程 => 16 core, Intel Xeon E5620, 12块1T的Sat

查看全文: http://www.udpwork.com/item/5017.html

我4.16日在ITPUB数据库大会的演讲稿..

由于部分地方说明不清楚,以及我自己有一点点紧张, 演讲中出现了一点断点,,请在现场的朋友原谅,此处的ppt中对这部分信息做了修正..

我对后端优化的一点想法.pptx
View more presentations from james tong

No related posts.

查看全文: http://www.udpwork.com/item/4875.html

通过源代码编译安装好MongoDB之后，接下来需要配置运行。在MongoDB的安装目录，有几个子目录，bin下面是可执行文件，包括

mongod：数据库服务端，类似mysqld，每个实例启动一个进程，可以fork为Daemon运行

mongo：客户端命令行工具，类似sqlplus/mysql，其实也是一个js解释器，支持js语法

mongodump/mongorestore：将数据导入为bson格式的文件/将bson文件恢复为数据库，类似xtracbackup

mongoexport/mongoimport：将collection导出为json/csv格式数据/将数据导入数据库，类似mysqldump/mysqlimport

查看全文: http://www.udpwork.com/item/4780.html

最近在学习HBase，方法就是看一堆的文档以及HBase代码，从一个菜鸟的角度来总结下自己的感受，请大家多多指正，:)

PPT主要包括以下内容：

1、Overview

HBase的构成以及各部分的作用。

2、Features以及实现原理

HBase的特性以及它是如何实现的。

3、关键操作流程

HBase的读、写、Compact、Split、Balance以及数据恢复的流程以及影响它们的关键要素。

菜鸟看Hbase
View more presentations from BlueDavy

查看全文: http://www.udpwork.com/item/4743.html

前面扯了一堆，要了解一个东西，最好的办法，还是让他跑起来，然后结合文档和测试，来验证其实现，并且了解其不足和优点。

MongoDB提供了部分系统的编译版本，但从研究学习以及线上不同依赖包的稳定性的目标，个人还是比较推荐从源代码编译安装的方式。MongoDB的源代码依赖了一些基础组件，如js引擎Spider Monkey，正则表达式引擎PCRE，安装构建工具Scons，以及C++的boost库等，因此编译还是有些麻烦的，realzyy的这篇文章已经比较详细的说明了编译的步骤，主要基于Redhat系统。在ubuntu上安装，还有几个注意点：

1. PCRE最好在编译的时候显式指明对UTF-8的支持

$ configure --en

查看全文: http://www.udpwork.com/item/4700.html

按照官方的说法，MongoDB是一种可扩展的高性能的开源的面向文档（document-oriented ）的数据库，采用C++开发。注意mongo不是mango（芒果），这个词是从humongous中截取出来的，其野心不言而明，直指海量数据存储。和其他很多NoSQL不太一样，MongoDB背后有一个专门的商业公司在提供支持和推广，有点类似MySQL AB的模式。这一系列文章，是为入门者写的，已经对NoSQL和MongoDB有一定研究和经验的，可以略过，或者看看如有疏漏，请留言指出。

面向文档，那么什么是文档呢？很明显这不是我们常见的word文档。这里说的文档，是一种可以嵌套的数据集合。从关系数据库的范式的概念来说，嵌套是明显的反范

查看全文: http://www.udpwork.com/item/4691.html