最新 | 最热门 | 最高评价

+0  大话Sheepdog 1 – 智能节点管理

Tag: 分布式架构 | 底层架构 | 未分类 | Sheepdog
泰 来 发于 2013年01月30日 20:28 | 点击: 3038 | 展开摘要
Sheepdog是开源的分布式块存储项目,具有零配置、Thin-Provision、高可靠、智能节点管理、容量线性扩展、虚拟机感知(底层支持冷热迁移和快照、克隆等)、支持计算与存储混合架构的特点等,可扩展到上千级别的物理节点。开源软件如QEMU、Libvirt以及Openstack都很好的集成了对Sheepdog的支持。

本系列将手把手让读者体验Sheepdog的各种功能,并解释背后的工作机制和原理。Sheepdog目前只支持Linux的环境,对文件系统没有任何假设。本文以

查看全文: http://www.udpwork.com/item/9189.html

+0  抢票插件二三事

Tag: TMT乱弹 | 媒体供稿 | 分布式 | 抢票插件
魏武挥 发于 2013年01月30日 14:28 | 点击: 1662 | 展开摘要
临近中国春节,互联网上最吸引人眼球的事件之一是“抢票神器”,因为它和大部分中国人踏上返乡路的“火车票”息息相关。

一位名为倪超的工程师,写了名为“12306购票助手”的浏览器插件,以帮助人们进行购票。这个插件的基本原理简单说来就是让机器去模仿人购票的行为,不断向12306发出包括“登陆、查询、购票”的指令。该程序有一段代码寄放在国外技术网站GitHub上,大量涌入的调用请求导致GitHub承载很大,后者一度暂时封禁了该程序请求。这个事件被盛传为“12306拖垮了GitHub

查看全文: http://www.udpwork.com/item/9186.html

+0  使用Sheepdog体验Openstack的弹性块服务

Tag: 底层架构 | Openstack | Sheepdog | 分布式架构
泰 来 发于 2013年01月29日 19:23 | 点击: 3530 | 展开摘要
Sheepdog[1]是开源的分布式块存储项目,具有零配置、Thin-Provision、高可靠、智能节点管理、容量线性扩展、虚拟机感知(底层支持冷热迁移和快照、克隆等)、支持计算与存储混合架构的特点等,可扩展到上千级别的物理节点。

Openstack[2]是亚马逊的S3(Simple Storage Service),弹性计算EC2(Elastic Computing),弹性块服务EBS(Elastic Block Service)等服务平台的开源实现。目前Opensta

查看全文: http://www.udpwork.com/item/9181.html

+0  可扩展的Web架构与分布式系统(译)

Tag: 分布式系统 | 翻译
youngsterxyf 发于 2013年01月16日 00:00 | 点击: 1456 | 展开摘要
原文:Scalable Web Architecture and Distributed Systems

译者:youngsterxyf

开源软件已成为一些最大型网站的基础组件。并且随着那些网站的发展,围绕它们的架构出现了一些最佳实践与指导性原则。本章尝试阐述设计大型网站需要考虑的一些关键问题,以及一些实现这些目标的组件。

本章主要侧重于Web系统,虽然其中一些内容也适用于其它分布式系统。

Web分布式系统设计原则

构建和运维一个可扩展Web站点或者应用到底意味着什

查看全文: http://www.udpwork.com/item/11857.html

+1  个性化离线实时分析系统pora

Tag: 分布式技术 | hbase | storm | ups | 个性化搜索 | 实时分析
悟时 发于 2012年11月26日 09:58 | 点击: 2224 | 展开摘要
1.业务场景

伴随着市场和技术的发展,个性化已经成为淘宝搜索的一个重要目标。简单来说,个性化就是让每个用户在使用淘宝搜索时都能够获取自己最想要的结果,而不再是千篇一律的展示。实现个性化最直接的手段就是通过分析用户的历史行为日志,为用户打上不同的标签,在搜索中根据这些标签来展示最贴近的结果。

在淘宝,用户属性分析是通过每天在云梯上定时运行的map reduce job来完成的,产出结果导入我们的在线kv存储ups中,搜索引擎通过查询ups获取用户属性来为用户返回个性化的结果

查看全文: http://www.udpwork.com/item/8744.html

+0  NoSQL数据库的分布式算法

Tag: NoSQL杂谈 | 理论原地 | 分布式 | nosql
nosqlfan 发于 2012年11月22日 22:15 | 点击: 1651 | 展开摘要
本文英文原文发表于知名技术博客《Highly Scalable Blog》,对NoSQL数据库中的分布式算法和思想进行了详细的讲解。文章很长,由@juliashine 进行翻译投稿。感谢译者的共享精神!

译者介绍:Juliashine是多年抓娃工程师,现工作方向是海量数据处理与分析,关注Hadoop与NoSQL生态体系。

英文原文:《Distributed Algorithms in NoSQL Databases》

译文地址:《NoSQL数据库的分布式算法》

系统的

查看全文: http://www.udpwork.com/item/9141.html

+0  libmemcached的MEMCACHED_MAX_BUFFER问题

Tag: 分布式技术 | libmemcached | memcached
恨少 发于 2012年09月24日 15:51 | 点击: 2122 | 展开摘要
最近给服务增加了一个cache_put_latency指标,加了之后,吓了一跳。发现往memcached put一个10KB左右的数据,latency居然有7ms左右,难于理解,于是花了一些精力找原因。我分别写了一个shell和C++的测试程序。

1、shell脚本使用nc发送set命令。

#/bin/env bash

let s=1
let i=0

let len=8*1024

while true
do
if (( i >= $len ))
then

查看全文: http://www.udpwork.com/item/8160.html

+5  玩转Protocol Buffers

Tag: 分布式技术 | 搜索引擎 | Google | PB | Protocol Buffers | 动态消息 | 动态自描述消息 | 自描述消息
桂南 发于 2012年09月18日 10:09 | 点击: 9868 | 展开摘要
1. 人人都爱Protocol Buffers

1.1 Protocol Buffers(PB)是什么?

Protocol buffers are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data – think XML, but smaller, faster, and simpler. You define ho

查看全文: http://www.udpwork.com/item/8132.html

+2  分布式知识的总结(V1.0)

Tag: Java | Web Service | acid | base | cap | 分布式
longhao 发于 2012年09月15日 16:32 | 点击: 11125 | 展开摘要
1:分布式理论

CAP(Eric Brewer)

    Web服务无法同时满足以下3个属性

Consistency(一致性),数据一致更新,所有数据变动都是同步的

Availability(可用性),每个操作都必须以可预期的响应结束

Partition tolerance(分区容错性),即使出现单个组件无法可用,操作依然可以完成

    在任何数据库设计中,一个Web应用至多只能同时支持上面的两个属性,不可能三者兼顾。

查看全文: http://www.udpwork.com/item/8117.html

+0  ZeroMQ的学习和研究

Tag: 分布式技术 | 前端技术 | ZeroMQ | ZMQ
龙安 发于 2012年08月13日 20:10 | 点击: 4244 | 展开摘要
ZeroMQ,史上最快的消息队列

—– ZMQ的学习和研究

一、ZeroMQ的背景介绍

引用官方的说法: “ZMQ(以下ZeroMQ简称ZMQ)是一个简单好用的传输层,像框架一样的一个socket library,他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明确目标是“成为标准网络协议栈的一部分,之后进入Linux内核”。现在还未看到它们的成功。但是,它无疑是极具前景的、并

查看全文: http://www.udpwork.com/item/7944.html

+0  Memcached VS Redis

Tag: CDN | 分布式架构 | memcached | redis
千石 发于 2012年07月22日 15:56 | 点击: 2454 | 展开摘要
Memcached vs redis from qianshi

查看全文: http://www.udpwork.com/item/8607.html

+0  基于glusterfs和gearman的离线任务运算分布式化方案介绍

Tag: 架构 | glusterfs gearman 分布式
editor 发于 2012年07月09日 15:58 | 点击: 1983 | 展开摘要
web站点服务中,我们除了存在面向用户的服务功能外,往往也存在大量的后台离线的相关计算任务,如对前端的异步操作数据队列进行定期处理,对数据库中的数据进行汇总挖掘,监控,转储,对中间数据的进一步运算处理等等……一个web服务站点的背后,往往存在大量对应的后端处理任务的功能模块,用于支撑正常的业务功能系统。 

在一个web站点的初始阶段,我们可能只需要有一台服务器,容纳部署所有的业务功能,包括了面向用户的前端web服务功能,数据存储,后端离线处理业务功能。随着站点的业务功能越来

查看全文: http://www.udpwork.com/item/7669.html
|<<<45678910>>>| 一共12页, 133条记录