最新 | 最热门 | 最高评价

+0  Beanstalkd 一个高性能分布式内存队列系统

Tag: CDN | 分布式架构 | beanstalkd | 内存队列 | 分布式 | 持久化
千石 发于 2011年09月13日 20:55 | 点击: 3652 | 展开摘要
之前在微博上调查过大家正在使用的分布式内存队列系统,反馈有Memcacheq,Fqueue, RabbitMQ , Beanstalkd以及linkedin的kafka。RabbitMQ使用比较广泛,Beanstalkd是后起之秀。Beanstalkd之于RabbitMQ,就好比Nginx之于Apache,Varnish之于Squid。后面在项目中使用Beanstalkd的过程中,更发现其简单、轻量级、高性能、易使用等特点,以及优先级、多队列、持久化、分布式容错、超时控制等特

查看全文: http://www.udpwork.com/item/5853.html

+0  Beanstalkd 一个高性能分布式内存队列系统

Tag: Beanstalkd | beanstalk | beanstalkd | 内存队列 | 分布式
千石 发于 2011年09月13日 20:29 | 点击: 4168 | 展开摘要
之前在微博上调查过大家正在使用的分布式内存队列系统,反馈有Memcacheq, Fqueue, RabbitMQ , Beanstalkd以及linkedin的kafka。RabbitMQ使用比较广泛,Beanstalkd是后起之秀。Beanstalkd之于RabbitMQ,就好比Nginx之于Apache,Varnish之于Squid。后面在项目中使用Beanstalkd的过程中,更发现其简单、轻量级、高性能、易使用等特点,以及优先级、多队列、持久化、分布式容错、超时控制等

查看全文: http://www.udpwork.com/item/5887.html

+0  新人讨论一:事务和两阶段提交

Tag: 分布式架构 | 事务 两阶段提交
rongxuan 发于 2011年09月07日 13:21 | 点击: 1328 | 展开摘要
1 事务的ACID

事务是保证数据库从一个一致性的状态永久地变成另外一个一致性状态的根本,其中,ACID是事务的基本特性。

A是Atomicity,原子性。一个事务往往涉及到许多的子操作,原子性则保证这些子操作要么都做,要么都不做,而不至于出现事务的部分操作成功,而另外一部分操作没有成功。如果事务在执行的过程中发生错误,那么数据库将回滚到事务发生之前的状态。比如银行的转账服务,这个事务的最终结果一定是:某个账户的余额增加了x,而另外一个账户的余额减少了x,或者两个账户的余

查看全文: http://www.udpwork.com/item/5814.html

+1  跨机房问题

Tag: 分布式架构 | 跨机房
chuanhui 发于 2011年08月23日 23:50 | 点击: 3971 | 展开摘要
跨机房问题一直都是一个老大难的问题,先看传统数据库的跨机房方案。

Master/Slave方案

这是最常用的方案,适用于大多数需求。Master将操作日志实时地发送到Slave,Slave当成Master的一个Hot Backup。Master宕机时,服务切换到Slave,需要修改客户端逻辑使得Master失效时自动寻找新的Master。

这个方案有一个问题就是数据库的Master和Slave一般不是强同步的,所以,切换到Slave后可能丢失宕机前的少量更新。如果将Ma

查看全文: http://www.udpwork.com/item/5684.html

+0  ”云存储系统“赏析系列分享三:SQL与NOSQL

Tag: 分布式架构 | 云存储,SQL与NOSQL
chuanhui 发于 2011年07月31日 13:07 | 点击: 2775 | 展开摘要
8月2日(下周二)内部分享的ppt,分为几个部分:

1, 单机存储引擎看SQL与NOSQL;

2, NOSQL从单机扩展到多机的关键点;

3, 从Megastore看SQL与NOSQL的融合;

4, 设计实现的一些Work around方法及技巧;

ppt比较简单,这几天将针对其中的”单机扩展到多机“问题写一篇博客。

“云存储系统”赏析系列分享三:Sql与nosql

View more presentations from knuthocean

via

查看全文: http://www.udpwork.com/item/5566.html

+0  高性能集群服务器(Erlang解决方案)

Tag: 分布式架构 | 底层架构 | Erlang | 高性能,服务器,集群
褚霸 发于 2011年07月30日 22:22 | 点击: 2095 | 展开摘要
高性能集群服务器(Erlang解决方案)
View more presentations from Feng Yu

查看全文: http://www.udpwork.com/item/5816.html

+0  Facebook的Realtime Hadoop及其应用

Tag: 并行编程 | 系统架构 | facebook | hadoop | 分布式系统
Guancheng (G.C.) 发于 2011年07月17日 15:38 | 点击: 2484 | 展开摘要
在今年的SIGMOD‘11上,Facebook又发了一篇新paper(点此下载),讲述了它们在提高Hadoop实时性上的工作及其应用。简单来讲,他们的项目需求主要有:

1. Elasticity(伸缩性)

2. High write throughput(高写吞吐量)

3. Efficient and low-latency strong consistency semantics within a data center(单个data center内高性能、低延迟的强

查看全文: http://www.udpwork.com/item/5486.html

+0  淘宝软件基础设施构建实践

Tag: CDN | OceanBase | TFS | Tair | 分布式架构 | 底层架构 | 数据库 | 软件基础设施
zhengming 发于 2011年06月09日 13:44 | 点击: 1755 | 展开摘要
这个PPT是在第三届中国云计算大会上讲过。主要讲目前淘宝在软件基础设施的规划、实践和一点感悟。注:我们将来在这方面开展的工作会不限于这些。

淘宝软件基础设施构建实践
View more presentations from Wensong Zhang

简介:

首先,简单介绍淘宝网的系统规模和增长速度,以及对软件基础设施带来的挑战;接着,回顾淘宝图片存储与CDN系统的发展历史,如何从商用系统一步一步走到完全自主的系统,描述自主系统的主要架构与设计思想、性能指标和现

查看全文: http://www.udpwork.com/item/5820.html

+0  Bitcoin:程序员都搞投资去了吗?

Tag: 业界动态 | 业界评论 | 资源分享 | Bitcoin | 分布式系统 | 虚拟货币
何 李石 发于 2011年06月06日 16:35 | 点击: 3938 | 展开摘要
我这里说的程序员搞投资,不是说投资自己的精力去写文档、写程序甚至做产品,而是投资Bitcoin。更理性点说,他们是在非理性的炒作Bitcoin。
是的,很多程序员都投资Bitcoin去了,生怕哪天世界是Bitcoin一统天下,自己也会像没有抢到地一样必须卑躬屈膝的向地产商们送钱一样。
他们靠在圈内的影响力以及诡辩能力,去说服自己和他人,去抢BTC。然而,事情并没有那么简单:
Bitcoin生产BTC的速度受时间限制,总量受控,永远也不会超过2100万个BTC,就意味着它稳定吗

查看全文: http://www.udpwork.com/item/5191.html

+1  ZooKeeper Watches

Tag: translation | hadoop | programming | zookeeper | 分布式系统
gnawux 发于 2011年06月06日 10:30 | 点击: 3192 | 展开摘要
按:王旭(http://wangxu.me/blog, @gnawux)于2011年6月6日译自 ZooKeeper程序员指南 (http://zookeeper.apache.org/doc/r3.3.3/zookeeperProgrammers.html)的同名章节。似乎很少有文档提这个啊,我其实在看这个之前一直不明白这东东是怎么用的。

所有的Zookeeper读操作,包括getData()、getChildren()和exists(),都有一个开关,可以在操作的同时再

查看全文: http://www.udpwork.com/item/5188.html

+0  Microsoft Azure Storage架构分析

Tag: 分布式架构 | Azure Storage,云存储
chuanhui 发于 2011年05月05日 22:55 | 点击: 2522 | 展开摘要
Microsoft云存储服务分为两个部分,SQL Azure和Azure Storage。云存储系统的可扩展性和功能不可兼得,必须牺牲一定的关系数据库功能换取可扩展性。Microsoft实现云存储的思路有两种:

1, 做减法。SQL Azure直接在原有的SQL Server上引入分布式的因素,在满足一定可扩展性的前提下尽可能不牺牲原有的关系型数据库功能。SQL Azure的可扩展性是有限的,单个SQL Azure实例不允许超过50GB,这是因为SQL Azure不支持

查看全文: http://www.udpwork.com/item/5001.html

+0  Oceanbase – 千亿级海量数据库

Tag: 分布式架构 | Oceanbase | 千亿级数据库
chuanhui 发于 2011年04月22日 09:18 | 点击: 3190 | 展开摘要
我在数据库大会有一个报告:<<Oceanbase – 千亿级海量数据库>>,ppt已上传到Slideshare上。有一些同学问我,Oceanbase的创新点在哪里?

从大学的数据结构课程可以知道,数据量比较大时,有两种数据结构很常用:哈希表和B+树,分布式系统也是类似的。如下图:

Amazon的系统实现了一个分布式哈希表,而Google Bigtable, Yahoo PNUTS,Microsoft SQL Azure实现了一颗分布式B

查看全文: http://www.udpwork.com/item/4906.html
|<<<3456789>>>| 一共9页, 101条记录