最新 | 最热门 | 最高评价

+0  ”云存储系统“赏析系列分享三:SQL与NOSQL

Tag: 分布式架构 | 云存储,SQL与NOSQL
chuanhui 发于 2011年07月31日 13:07 | 点击: 3066 | 展开摘要
8月2日(下周二)内部分享的ppt,分为几个部分:

1, 单机存储引擎看SQL与NOSQL;

2, NOSQL从单机扩展到多机的关键点;

3, 从Megastore看SQL与NOSQL的融合;

4, 设计实现的一些Work around方法及技巧;

ppt比较简单,这几天将针对其中的”单机扩展到多机“问题写一篇博客。

“云存储系统”赏析系列分享三:Sql与nosql

View more presentations from knuthocean

via

查看全文: http://www.udpwork.com/item/5566.html

+0  高性能集群服务器(Erlang解决方案)

Tag: 分布式架构 | 底层架构 | Erlang | 高性能,服务器,集群
褚霸 发于 2011年07月30日 22:22 | 点击: 2373 | 展开摘要
高性能集群服务器(Erlang解决方案)
View more presentations from Feng Yu

查看全文: http://www.udpwork.com/item/5816.html

+0  Facebook的Realtime Hadoop及其应用

Tag: 并行编程 | 系统架构 | facebook | hadoop | 分布式系统
Guancheng (G.C.) 发于 2011年07月17日 15:38 | 点击: 2779 | 展开摘要
在今年的SIGMOD‘11上,Facebook又发了一篇新paper(点此下载),讲述了它们在提高Hadoop实时性上的工作及其应用。简单来讲,他们的项目需求主要有:

1. Elasticity(伸缩性)

2. High write throughput(高写吞吐量)

3. Efficient and low-latency strong consistency semantics within a data center(单个data center内高性能、低延迟的强

查看全文: http://www.udpwork.com/item/5486.html

+0  淘宝软件基础设施构建实践

Tag: CDN | OceanBase | TFS | Tair | 分布式架构 | 底层架构 | 数据库 | 软件基础设施
zhengming 发于 2011年06月09日 13:44 | 点击: 2073 | 展开摘要
这个PPT是在第三届中国云计算大会上讲过。主要讲目前淘宝在软件基础设施的规划、实践和一点感悟。注:我们将来在这方面开展的工作会不限于这些。

淘宝软件基础设施构建实践
View more presentations from Wensong Zhang

简介:

首先,简单介绍淘宝网的系统规模和增长速度,以及对软件基础设施带来的挑战;接着,回顾淘宝图片存储与CDN系统的发展历史,如何从商用系统一步一步走到完全自主的系统,描述自主系统的主要架构与设计思想、性能指标和现

查看全文: http://www.udpwork.com/item/5820.html

+0  Bitcoin:程序员都搞投资去了吗?

Tag: 业界动态 | 业界评论 | 资源分享 | Bitcoin | 分布式系统 | 虚拟货币
何 李石 发于 2011年06月06日 16:35 | 点击: 4255 | 展开摘要
我这里说的程序员搞投资,不是说投资自己的精力去写文档、写程序甚至做产品,而是投资Bitcoin。更理性点说,他们是在非理性的炒作Bitcoin。
是的,很多程序员都投资Bitcoin去了,生怕哪天世界是Bitcoin一统天下,自己也会像没有抢到地一样必须卑躬屈膝的向地产商们送钱一样。
他们靠在圈内的影响力以及诡辩能力,去说服自己和他人,去抢BTC。然而,事情并没有那么简单:
Bitcoin生产BTC的速度受时间限制,总量受控,永远也不会超过2100万个BTC,就意味着它稳定吗

查看全文: http://www.udpwork.com/item/5191.html

+1  ZooKeeper Watches

Tag: translation | hadoop | programming | zookeeper | 分布式系统
gnawux 发于 2011年06月06日 10:30 | 点击: 3517 | 展开摘要
按:王旭(http://wangxu.me/blog, @gnawux)于2011年6月6日译自 ZooKeeper程序员指南 (http://zookeeper.apache.org/doc/r3.3.3/zookeeperProgrammers.html)的同名章节。似乎很少有文档提这个啊,我其实在看这个之前一直不明白这东东是怎么用的。

所有的Zookeeper读操作,包括getData()、getChildren()和exists(),都有一个开关,可以在操作的同时再

查看全文: http://www.udpwork.com/item/5188.html

+0  Microsoft Azure Storage架构分析

Tag: 分布式架构 | Azure Storage,云存储
chuanhui 发于 2011年05月05日 22:55 | 点击: 2825 | 展开摘要
Microsoft云存储服务分为两个部分,SQL Azure和Azure Storage。云存储系统的可扩展性和功能不可兼得,必须牺牲一定的关系数据库功能换取可扩展性。Microsoft实现云存储的思路有两种:

1, 做减法。SQL Azure直接在原有的SQL Server上引入分布式的因素,在满足一定可扩展性的前提下尽可能不牺牲原有的关系型数据库功能。SQL Azure的可扩展性是有限的,单个SQL Azure实例不允许超过50GB,这是因为SQL Azure不支持

查看全文: http://www.udpwork.com/item/5001.html

+0  Oceanbase – 千亿级海量数据库

Tag: 分布式架构 | Oceanbase | 千亿级数据库
chuanhui 发于 2011年04月22日 09:18 | 点击: 3509 | 展开摘要
我在数据库大会有一个报告:<<Oceanbase – 千亿级海量数据库>>,ppt已上传到Slideshare上。有一些同学问我,Oceanbase的创新点在哪里?

从大学的数据结构课程可以知道,数据量比较大时,有两种数据结构很常用:哈希表和B+树,分布式系统也是类似的。如下图:

Amazon的系统实现了一个分布式哈希表,而Google Bigtable, Yahoo PNUTS,Microsoft SQL Azure实现了一颗分布式B

查看全文: http://www.udpwork.com/item/4906.html

+0  Amazon S3 & Simpledb内部实现分析

Tag: 分布式架构 | Amazon S3 | Amazon Simpledb
chuanhui 发于 2011年03月27日 19:50 | 点击: 3767 | 展开摘要
Amazon S3申请了一篇专利,名称为”Keymap Service Architecture for A Distributed Storage System“,而Amazon Simpledb的实现细节暂时没有公开。本文根据Dynamo论文,S3专利以及S3&Simpledb的对外API尝试推测这两个系统的内部实现。

对外API

1, S3:撇开S3系统中的Region, Bucket,用户权限管理等,和底层存储系统相关的API只有如

查看全文: http://www.udpwork.com/item/4634.html

+0  Amazon Dynamo – 纠结的设计

Tag: 分布式架构 | Amazon Dynamo,纠结的设计
chuanhui 发于 2011年03月22日 22:43 | 点击: 7030 | 展开摘要
从09年第一次阅读Dynamo论文,到最近阅读Amazon S3的一篇专利,一路过来对论文的理解可以简单归结为两个字 – 纠结。第一次看到Amazon Dynamo论文,有一种眼前一亮的感觉,Dynamo通过巧妙地组合一些P2P技术在Amazon构建了一个工程上可行的系统,CAP,NWR, Vector Clock一时成为流行词,更为神奇的是,Dynamo号称能够让用户设置不同的NWR策略从而在CAP三者之间获得一个很好的权衡,鱼和熊掌亦可兼得。而Amazon S

查看全文: http://www.udpwork.com/item/4571.html

+0  从Megastore看RDBMS和NOSQL系统结合

Tag: 分布式架构 | Megastore | RDBMS与NOSQL
chuanhui 发于 2011年03月13日 22:10 | 点击: 2593 | 展开摘要
RDBMS的优势在于功能,包括事务,强一致性,同时支持随机读和顺序扫描,索引。NOSQL系统的优势在于扩展性和性能。Google的经验告诉我们,系统设计的关键点还是在于可扩展性,依赖于底层GFS+Bigtable提供的无与伦比的可扩展性,Megastore能够在上层不断完善功能,兼具RDBMS和NOSQL系统的优点。

1, 兼顾随机读和顺序扫描。Bigtable底层的存储引擎为MemTable + SSTable构成的Merge-Dump存储引擎,SSTable设计成8K

查看全文: http://www.udpwork.com/item/4511.html

+0  Google Megastore系统事务机制

Tag: 分布式架构 | Google Megastore,事务机制
chuanhui 发于 2011年02月20日 17:13 | 点击: 2512 | 展开摘要
最近CSDN头条有一篇介绍Google Megastore的文章,讲得挺好,本文主要针对Google Megastore的事务实现做一个更详细的探讨。Google Megastore的底层是GFS + Bigtable系统,GFS + Bigtable解决可扩展性问题,但提供的用户接口简单:读接口只提供Get随机读取和Scan连续扫描,写接口也只能够支持单行事务。Google Megastore构建在Bigtable系统之上,通过客户端封装复杂的特性,包括事务支持,基于Ent

查看全文: http://www.udpwork.com/item/4319.html
|<<<6789101112>>>| 一共12页, 133条记录