最新 | 最热门 | 最高评价

+2  分布式知识的总结(V1.0)

Tag: Java | Web Service | acid | base | cap | 分布式
longhao 发于 2012年09月15日 16:32 | 点击: 10739 | 展开摘要
1:分布式理论

CAP(Eric Brewer)

    Web服务无法同时满足以下3个属性

Consistency(一致性),数据一致更新,所有数据变动都是同步的

Availability(可用性),每个操作都必须以可预期的响应结束

Partition tolerance(分区容错性),即使出现单个组件无法可用,操作依然可以完成

    在任何数据库设计中,一个Web应用至多只能同时支持上面的两个属性,不可能三者兼顾。

查看全文: http://www.udpwork.com/item/8117.html

+0  ZeroMQ的学习和研究

Tag: 分布式技术 | 前端技术 | ZeroMQ | ZMQ
龙安 发于 2012年08月13日 20:10 | 点击: 3970 | 展开摘要
ZeroMQ,史上最快的消息队列

—– ZMQ的学习和研究

一、ZeroMQ的背景介绍

引用官方的说法: “ZMQ(以下ZeroMQ简称ZMQ)是一个简单好用的传输层,像框架一样的一个socket library,他使得Socket编程更加简单、简洁和性能更高。是一个消息处理队列库,可在多个线程、内核和主机盒之间弹性伸缩。ZMQ的明确目标是“成为标准网络协议栈的一部分,之后进入Linux内核”。现在还未看到它们的成功。但是,它无疑是极具前景的、并

查看全文: http://www.udpwork.com/item/7944.html

+0  Memcached VS Redis

Tag: CDN | 分布式架构 | memcached | redis
千石 发于 2012年07月22日 15:56 | 点击: 2145 | 展开摘要
Memcached vs redis from qianshi

查看全文: http://www.udpwork.com/item/8607.html

+0  基于glusterfs和gearman的离线任务运算分布式化方案介绍

Tag: 架构 | glusterfs gearman 分布式
editor 发于 2012年07月09日 15:58 | 点击: 1725 | 展开摘要
web站点服务中,我们除了存在面向用户的服务功能外,往往也存在大量的后台离线的相关计算任务,如对前端的异步操作数据队列进行定期处理,对数据库中的数据进行汇总挖掘,监控,转储,对中间数据的进一步运算处理等等……一个web服务站点的背后,往往存在大量对应的后端处理任务的功能模块,用于支撑正常的业务功能系统。 

在一个web站点的初始阶段,我们可能只需要有一台服务器,容纳部署所有的业务功能,包括了面向用户的前端web服务功能,数据存储,后端离线处理业务功能。随着站点的业务功能越来

查看全文: http://www.udpwork.com/item/7669.html

+0  MySQL Cluster集群探索与实践

Tag: 其他 | 分布式技术 | cluster | MySQL | ndb | 集群
桃子 发于 2012年07月03日 13:54 | 点击: 1833 | 展开摘要
简介

MySQL集群是一种在无共享架构(SNA,Share Nothing Architecture)系统里应用内存数据库集群的技术。这种无共享的架构可以使得系统使用低廉的硬件获取高的可扩展性。

MySQL集群是一种分布式设计,目标是要达到没有任何单点故障点。因此,任何组成部分都应该拥有自己的内存和磁盘。任何共享存储方案如网络共享,网络文件系统和SAN设备是不推荐或不支持的。通过这种冗余设计,MySQL声称数据的可用度可以达到99.999%。

实际上,MySQL集群是把

查看全文: http://www.udpwork.com/item/7871.html

+0  搜索应用平台nimitz介绍

Tag: 分布式技术 | 搜索引擎 | Hadoop | hbase
震河 发于 2012年06月03日 11:00 | 点击: 1399 | 展开摘要
尼米兹(Nimitz)英文原意是航空母舰的意思。在dump中心,是由道凡发起的一个项目,目标是希望nimitz能成为各个搜索小应用提供一个综合平台,可以快速部署各种中小型的搜索引擎服务,可以快速对接淘宝的各个业务库,快速开发海量数据数据的离线处理程序,BUILD索引,方便运维,高可用性。

在没有nimitz之前:开发成本很大很大。以前,每个应用都各自维护者自己的一套dump程序,开发成本非常之高,主要是dump程序,以及里面的逻辑处理。本来各个应用之间区别就在于各个字段的处

查看全文: http://www.udpwork.com/item/7874.html

+0  Understanding System and Architecture for Big Data

Tag: 业界评论 | 系统架构 | Big Data | hadoop | ibm | IBM Research | 分布式系统
Guancheng (G.C.) 发于 2012年05月09日 21:18 | 点击: 2409 | 展开摘要
简介:IBM Research最近在Big Data领域有很多工作,例如我们组在4月份在10台采用POWER7处理器的P730服务器上成功地用14分钟跑完了1TB数据的排序(7月份又在10台Power7R2上用8分44秒跑完了1TB排序),这项工作已经发表为一篇IBM Research Report,欢迎大家围观,并提出宝贵意见,谢谢。

The use of Big Data underpins critical activities in all sectors of o

查看全文: http://www.udpwork.com/item/7259.html

+0  “策略依赖” – 一种关注调用者体验的“五星级”设计模式

Tag: 策略依赖 | 服务 | 设计模式 | 程序 | 数据挖掘 | Strategy Dependent | 技术文章 | 软件 | 分布式系统
Huan Du 发于 2012年04月06日 16:50 | 点击: 2202 | 展开摘要
传统的软件设计方法论是不会关注调用者体验的——无论设计者是否有意忽略,往往结果都是这样。

这样说的原因是,“设计”本身的关注点在于“通用”和“可扩展”,而这些点和调用者体验本身就是矛盾的。

我来用一个简单有趣的例子来说明这个矛盾是如何产生的。

比如我们现在要抽象餐馆里顾客点餐的过程,一般的思路会是这样。

顾客实例化一个服务员实例

顾客从服务员实例获得菜单,开始选菜

顾客选好菜品之后调用服务员的点菜接口,下单

用C++表达会是这样,这里省略了很多无关紧要的细节:

查看全文: http://www.udpwork.com/item/7076.html

+0  HBase性能优化方法总结

Tag: NoSQL存储 | 分布式 | 经验和技巧 | HBase | 性能优化
原 攀峰 发于 2012年03月08日 17:49 | 点击: 1597 | 展开摘要
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。

1. 表的设计

1.1 Pre-Creating Regions

默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的reg

查看全文: http://www.udpwork.com/item/8516.html

+0  基于php分布式程序开发问题

Tag: php | 算法与读书 | 优化 | 分布式
lajabs 发于 2012年01月29日 21:40 | 点击: 2001 | 展开摘要
一、伸缩性扩展性问题

根据不同系统层次,实现横向扩展设计,可简单地通过增加主机数或处理进程数来扩展;

在前端浏览器层面,可以通过动态调用不同资源实现一定程度分流,如JavaScript、Flash(ActionScript)中加载应用服务器列表,并根据均衡策略选择其中一台服务器进行请求;

在域名解析层面,可以考虑动态DNS解析服务,为跨机房跨区域服务系统部署提供IP地址的映射达到分流目的;

在可使用负载均

查看全文: http://www.udpwork.com/item/10903.html

+0  Paxos小议

Tag: 分布式基础 | paxos | 分布式 | 选举算法
editor 发于 2011年11月23日 15:08 | 点击: 9179 | 展开摘要
问题

最近我们在做一个项目的时候有这样一个需求:我们有多台服务器资源,希望彼此协作完成一项工作。这项工作可以被划分为N个小的模块,但由于这项工作会依赖于持续不断的输入(在线业务),因此我们无法使用人工指定的方式将此工作分发到不同服务器进行。目前我们想到一个方法,将这项工作划分出的小模块放到一个稳定可靠的地方,例如mola存储系统,然后每台服务器去存储系统上取得一定数量的模块进行工作,完成后再将处理的结果输出到前述的存储系统上。这些小的模块虽然可以被不同的服务器运行,然后重复

查看全文: http://www.udpwork.com/item/6367.html

+0  GFS架构分析

Tag: 分布式架构 | GFS
chuanhui 发于 2011年10月12日 19:53 | 点击: 3883 | 展开摘要
Google文件系统(Google File System,GFS)是构建在廉价的服务器之上的大型分布式系统。它将服务器故障视为正常现象,通过软件的方式自动容错,在保证系统可靠性和可用性的同时,大大减少了系统的成本。

GFS是Google云存储的基石,其它存储系统,如Google Bigtable,Google Megastore,Google Percolator均直接或者间接地构建在GFS之上。另外,Google大规模批处理系统MapReduce也需要利用GFS作为海量

查看全文: http://www.udpwork.com/item/6047.html
|<<<2345678>>>| 一共9页, 101条记录