最新 | 最热门 | 最高评价
3

+5  玩转Protocol Buffers

Tag: 分布式技术 | 搜索引擎 | Google | PB | Protocol Buffers | 动态消息 | 动态自描述消息 | 自描述消息
桂南 发于 2012年09月18日 10:09 | 点击: 9477 | 展开摘要
1. 人人都爱Protocol Buffers

1.1 Protocol Buffers（PB）是什么?

Protocol buffers are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data – think XML, but smaller, faster, and simpler. You define ho

查看全文: http://www.udpwork.com/item/8132.html
2

+2  分布式知识的总结(V1.0)

Tag: Java | Web Service | acid | base | cap | 分布式
longhao 发于 2012年09月15日 16:32 | 点击: 10739 | 展开摘要
1：分布式理论

CAP(Eric Brewer)

    Web服务无法同时满足以下3个属性

Consistency(一致性)，数据一致更新，所有数据变动都是同步的

Availability(可用性)，每个操作都必须以可预期的响应结束

Partition tolerance(分区容错性)，即使出现单个组件无法可用,操作依然可以完成

    在任何数据库设计中,一个Web应用至多只能同时支持上面的两个属性，不可能三者兼顾。

查看全文: http://www.udpwork.com/item/8117.html
1

+1  数据库事务ACID和锁

Tag: 分布式 | 数据库
ideawu 发于 2021年05月02日 13:30 | 点击: 206 | 展开摘要
数据库事务功能非常重要, 任何应用只要操作的多个对象之间有依赖(约束)关系, 都会不约而同地想到使用事务, 例如银行转账功能, 社交 App 中的粉丝关注功能, 购物网站下订单功能. 任何一个数据库系统, 如果不提供事务功能, 就不能减少用户(应用开发者)的某些麻烦, 因为用户不得不自己在应用层去实现类似事务的代码逻辑.

从用户的角度看, 如果数据库不提供事务, 他就要多写代码, 这让他很不爽. 所以, 即使是 KV 数据库, 也应该提供事务功能. 但是, 不仅事务功能的实

查看全文: http://www.udpwork.com/item/17453.html
1

+1  个性化离线实时分析系统pora

Tag: 分布式技术 | hbase | storm | ups | 个性化搜索 | 实时分析
悟时 发于 2012年11月26日 09:58 | 点击: 1943 | 展开摘要
1.业务场景

伴随着市场和技术的发展，个性化已经成为淘宝搜索的一个重要目标。简单来说，个性化就是让每个用户在使用淘宝搜索时都能够获取自己最想要的结果，而不再是千篇一律的展示。实现个性化最直接的手段就是通过分析用户的历史行为日志，为用户打上不同的标签，在搜索中根据这些标签来展示最贴近的结果。

在淘宝，用户属性分析是通过每天在云梯上定时运行的map reduce job来完成的，产出结果导入我们的在线kv存储ups中，搜索引擎通过查询ups获取用户属性来为用户返回个性化的结果

查看全文: http://www.udpwork.com/item/8744.html
1

+1  跨机房问题

Tag: 分布式架构 | 跨机房
chuanhui 发于 2011年08月23日 23:50 | 点击: 3971 | 展开摘要
跨机房问题一直都是一个老大难的问题，先看传统数据库的跨机房方案。

Master/Slave方案

这是最常用的方案，适用于大多数需求。Master将操作日志实时地发送到Slave，Slave当成Master的一个Hot Backup。Master宕机时，服务切换到Slave，需要修改客户端逻辑使得Master失效时自动寻找新的Master。

这个方案有一个问题就是数据库的Master和Slave一般不是强同步的，所以，切换到Slave后可能丢失宕机前的少量更新。如果将Ma

查看全文: http://www.udpwork.com/item/5684.html
1

+1  【分布式系统工程实现】CAP理论及系统一致性

Tag: 分布式架构 | Bigtable | CAP | Dynamo | Eventually Consistent
chuanhui 发于 2010年11月06日 15:55 | 点击: 2183 | 展开摘要
印象中CAP理论开始流行是从Amazon Dynamo的论文开始的，Amazon的CTO还在他的博客中介绍了最终一致性的概念，从此以后，各种会议和交流中都少不了CAP的影子。然而，对于分布式系统工程设计和开发来说，CAP意味着什么呢？

CAP 理论由 Berkerly 的 Brewer 教授提出，三者的含义如下：

一致性 ( Consistency) ：任何一个读操作总是能读取到之前完成的写操作结果；

可用性 ( Availability) ：每一个操作

查看全文: http://www.udpwork.com/item/5327.html
1

+1  ZooKeeper Watches

Tag: translation | hadoop | programming | zookeeper | 分布式系统
gnawux 发于 2011年06月06日 10:30 | 点击: 3192 | 展开摘要
按：王旭（http://wangxu.me/blog, @gnawux）于2011年6月6日译自 ZooKeeper程序员指南 （http://zookeeper.apache.org/doc/r3.3.3/zookeeperProgrammers.html）的同名章节。似乎很少有文档提这个啊，我其实在看这个之前一直不明白这东东是怎么用的。

所有的Zookeeper读操作，包括getData()、getChildren()和exists()，都有一个开关，可以在操作的同时再

查看全文: http://www.udpwork.com/item/5188.html
1

+1  Facebook Haystack图片存储架构

Tag: 分布式架构 | Facebook Haystack，图片存储，淘宝TFS
chuanhui 发于 2010年12月05日 22:43 | 点击: 7622 | 展开摘要
OSDI 10中有一篇Facebook图片存储系统Haystack的论文，名称为”Finding a needle in Haystack: Facebook’s photo storage”。从这篇论文可以看出，数据量大的应用有时也并不复杂。

我们先给Facebook图片存储系统算一笔账。Facebook目前存储了260 billion图片，总大小为20PB，通过计算可以得出每张图片的平均大小为20PB / 260GB，约为800KB。

查看全文: http://www.udpwork.com/item/4068.html
---

+0  可靠分布式系统-paxos的直观解释

Tag: algo | distributed | consensus | fault-tolerant | quorum | replication | paxos | 分布式 | 一致性 | 容错 | 多数派
张炎泼(xp) 发于 2020年06月01日 08:00 | 点击: 81 | 展开摘要
前言

paxos是什么?

在分布式系统中保证多副本数据强一致的算法.

paxos有啥用?

没有paxos的一堆机器, 叫做分布式;

有paxos协同的一堆机器, 叫分布式系统.

Google Chubby的作者Mike Burrows说过:

这个世界上只有一种一致性算法，那就是Paxos …

其他一致性算法, 都可以看做paxos在实现中的变体和扩展.

另外一个经常被提及的分布式算法是raft, raft的贡献在于把一致性算法落地.
因为 Leslie

查看全文: http://www.udpwork.com/item/17480.html
^..^

+0  后分布式时代: 多数派读写的’少数派’实现

Tag: algo | distributed | quorum | majority | replication | paxos | raft | 分布式 | 多数派
张炎泼(xp) 发于 2020年10月18日 08:00 | 点击: 89 | 展开摘要
前言

paxos可以看做是2次 多数派读写 完成一次强一致读写. 多数派要求半数以上的参与者(paxos中的Acceptor)接受某笔操作. 但 多数派读写 并不一定需要多于半数的参与者, 分布式系统中某些场合的优化, 可以通过减少参与者数量来完成的.

多数派读写:分布式系统的基础

分布式系统中, 其中一个基础的问题是如何在不可靠硬件(低可用性)基础上构建可靠(高可用性)的服务,
要达成这个目标, 核心的手段就是复制(例如一份数据存3个副本).
而复制过程中的一致性

查看全文: http://www.udpwork.com/item/17479.html
---

+0  200行代码实现基于paxos的kv存储

Tag: algo | distributed | replication | paxos | kv | 分布式 | 存储
张炎泼(xp) 发于 2020年10月28日 08:00 | 点击: 83 | 展开摘要
前言

写完 paxos的直观解释 之后,
网友都说疗效甚好, 但是也会对这篇教程中一些环节提出疑问(有疑问说明真的看懂了

查看全文: http://www.udpwork.com/item/17478.html
---

+0  分布式系统中的先后顺序问题 – 逻辑时钟, 原子钟和停止等待

Tag: 分布式
ideawu 发于 2021年04月16日 21:47 | 点击: 121 | 展开摘要
分布式系统中的一致性问题, 本质就是操作的先后顺序问题. 先后顺序, 纯朴的理解就是时间的先后, 也即时钟的先后. 众所周知, 时钟受许多因素影响, 例如观察者, 时钟源(钟表, 系统时间), 时钟同步等等, 单纯依赖时钟的读数来区分先后顺序, 会造成许多的问题.

以银行转账为例子.

在一个虚拟的银行系统中, 用户直接修改离自己最近的银行的数据库, 而数据库本身会自动地将修改同步到其它地点.

中国的用户 A 在中国的数据库里修改了自己账户的余额, 扣减 100 元, 同

查看全文: http://www.udpwork.com/item/17462.html
|<<<1234567>>>| 一共9页, 101条记录