最新 | 最热门 | 最高评价

+0  我对Lamport Logical Clock的理解

Tag: NoSQL杂谈 | Lamport Logical Clock | 算法 | 一致性 | 理论原地 | 分布式
nosqlfan 发于 2013年09月03日 23:45 | 点击: 3101 | 展开摘要
分布式环境中的一致新问题一直是最热门的话题之一,本文主要介绍了其中的一种比较简单的思路:Lamport Logical Clock。本文来自@GoAce 博客文章的投稿。感谢他的分享。

原文地址:http://www.orzace.com/lamport-logical-clock/

建议先看论文原文再来看这篇文章(原文见文章下方参考文献部分),我不会对论文中的各个点都详细说明,只是写一些我自己的想法,帮助理解。

大家都知道,分布式环境下,确定各个事件发生的顺序很重要,

查看全文: http://www.udpwork.com/item/10590.html

+0  SSDB 的 key_range 和未来的集群之路

Tag: SSDB | KV | 分布式
ideawu 发于 2013年08月13日 22:00 | 点击: 1642 | 展开摘要
SSDB 在 1.5.7 版本中增加了 key_range 查询, 用于获取 SSDB 服务器当前数据的范围. 下一个版本会增加 set_key_range 功能, 用于指定 SSDB 应该服务的数据的区间范围. 这个 key_range 是 SSDB 未来集群之路的开始.

在很多基于客户端的存储集群方案中(如 hash), 数据存储在哪台服务器需要客户端来决定, 也就是由用户(开发者)来决定. 这一类的方案都是伪集群和伪分布式, 因为数据的定位要求客户端主动进行, 而且数

查看全文: http://www.udpwork.com/item/10377.html

+0  分布式处理框架-Gearman

Tag: Go | python | 服务器 | 网络编程 | Python | 分布式
郑 纪 发于 2013年06月20日 11:59 | 点击: 2894 | 展开摘要
近日折腾Gearman.有兴趣可以参考阅读这个,这个,还有这个

官方说法:

Gearman provides a generic application framework to farm out work to other machines or processes that are better suited to do the work. It allows you to do work in parallel, to load balance processing

查看全文: http://www.udpwork.com/item/10417.html

+0  consensus made simple

Tag: 分布式技术 | paxos
恨少 发于 2013年06月04日 13:58 | 点击: 1606 | 展开摘要

+0  大话Sheepdog 1 – 智能节点管理

Tag: 分布式架构 | 底层架构 | 未分类 | Sheepdog
泰 来 发于 2013年01月30日 20:28 | 点击: 2725 | 展开摘要
Sheepdog是开源的分布式块存储项目,具有零配置、Thin-Provision、高可靠、智能节点管理、容量线性扩展、虚拟机感知(底层支持冷热迁移和快照、克隆等)、支持计算与存储混合架构的特点等,可扩展到上千级别的物理节点。开源软件如QEMU、Libvirt以及Openstack都很好的集成了对Sheepdog的支持。

本系列将手把手让读者体验Sheepdog的各种功能,并解释背后的工作机制和原理。Sheepdog目前只支持Linux的环境,对文件系统没有任何假设。本文以

查看全文: http://www.udpwork.com/item/9189.html

+0  抢票插件二三事

Tag: TMT乱弹 | 媒体供稿 | 分布式 | 抢票插件
魏武挥 发于 2013年01月30日 14:28 | 点击: 1415 | 展开摘要
临近中国春节,互联网上最吸引人眼球的事件之一是“抢票神器”,因为它和大部分中国人踏上返乡路的“火车票”息息相关。

一位名为倪超的工程师,写了名为“12306购票助手”的浏览器插件,以帮助人们进行购票。这个插件的基本原理简单说来就是让机器去模仿人购票的行为,不断向12306发出包括“登陆、查询、购票”的指令。该程序有一段代码寄放在国外技术网站GitHub上,大量涌入的调用请求导致GitHub承载很大,后者一度暂时封禁了该程序请求。这个事件被盛传为“12306拖垮了GitHub

查看全文: http://www.udpwork.com/item/9186.html

+0  使用Sheepdog体验Openstack的弹性块服务

Tag: 底层架构 | Openstack | Sheepdog | 分布式架构
泰 来 发于 2013年01月29日 19:23 | 点击: 3212 | 展开摘要
Sheepdog[1]是开源的分布式块存储项目,具有零配置、Thin-Provision、高可靠、智能节点管理、容量线性扩展、虚拟机感知(底层支持冷热迁移和快照、克隆等)、支持计算与存储混合架构的特点等,可扩展到上千级别的物理节点。

Openstack[2]是亚马逊的S3(Simple Storage Service),弹性计算EC2(Elastic Computing),弹性块服务EBS(Elastic Block Service)等服务平台的开源实现。目前Opensta

查看全文: http://www.udpwork.com/item/9181.html

+0  可扩展的Web架构与分布式系统(译)

Tag: 分布式系统 | 翻译
youngsterxyf 发于 2013年01月16日 00:00 | 点击: 1193 | 展开摘要
原文:Scalable Web Architecture and Distributed Systems

译者:youngsterxyf

开源软件已成为一些最大型网站的基础组件。并且随着那些网站的发展,围绕它们的架构出现了一些最佳实践与指导性原则。本章尝试阐述设计大型网站需要考虑的一些关键问题,以及一些实现这些目标的组件。

本章主要侧重于Web系统,虽然其中一些内容也适用于其它分布式系统。

Web分布式系统设计原则

构建和运维一个可扩展Web站点或者应用到底意味着什

查看全文: http://www.udpwork.com/item/11857.html

+1  个性化离线实时分析系统pora

Tag: 分布式技术 | hbase | storm | ups | 个性化搜索 | 实时分析
悟时 发于 2012年11月26日 09:58 | 点击: 1943 | 展开摘要
1.业务场景

伴随着市场和技术的发展,个性化已经成为淘宝搜索的一个重要目标。简单来说,个性化就是让每个用户在使用淘宝搜索时都能够获取自己最想要的结果,而不再是千篇一律的展示。实现个性化最直接的手段就是通过分析用户的历史行为日志,为用户打上不同的标签,在搜索中根据这些标签来展示最贴近的结果。

在淘宝,用户属性分析是通过每天在云梯上定时运行的map reduce job来完成的,产出结果导入我们的在线kv存储ups中,搜索引擎通过查询ups获取用户属性来为用户返回个性化的结果

查看全文: http://www.udpwork.com/item/8744.html

+0  NoSQL数据库的分布式算法

Tag: NoSQL杂谈 | 理论原地 | 分布式 | nosql
nosqlfan 发于 2012年11月22日 22:15 | 点击: 1401 | 展开摘要
本文英文原文发表于知名技术博客《Highly Scalable Blog》,对NoSQL数据库中的分布式算法和思想进行了详细的讲解。文章很长,由@juliashine 进行翻译投稿。感谢译者的共享精神!

译者介绍:Juliashine是多年抓娃工程师,现工作方向是海量数据处理与分析,关注Hadoop与NoSQL生态体系。

英文原文:《Distributed Algorithms in NoSQL Databases》

译文地址:《NoSQL数据库的分布式算法》

系统的

查看全文: http://www.udpwork.com/item/9141.html

+0  libmemcached的MEMCACHED_MAX_BUFFER问题

Tag: 分布式技术 | libmemcached | memcached
恨少 发于 2012年09月24日 15:51 | 点击: 1841 | 展开摘要
最近给服务增加了一个cache_put_latency指标,加了之后,吓了一跳。发现往memcached put一个10KB左右的数据,latency居然有7ms左右,难于理解,于是花了一些精力找原因。我分别写了一个shell和C++的测试程序。

1、shell脚本使用nc发送set命令。

#/bin/env bash

let s=1
let i=0

let len=8*1024

while true
do
if (( i >= $len ))
then

查看全文: http://www.udpwork.com/item/8160.html

+5  玩转Protocol Buffers

Tag: 分布式技术 | 搜索引擎 | Google | PB | Protocol Buffers | 动态消息 | 动态自描述消息 | 自描述消息
桂南 发于 2012年09月18日 10:09 | 点击: 9477 | 展开摘要
1. 人人都爱Protocol Buffers

1.1 Protocol Buffers(PB)是什么?

Protocol buffers are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data – think XML, but smaller, faster, and simpler. You define ho

查看全文: http://www.udpwork.com/item/8132.html
|<<<1234567>>>| 一共9页, 101条记录