最新 | 最热门 | 最高评价

+0  常见分布式基础设施系统设计图解(七):分布式实时流处理系统

Tag: System and Architecture | streaming | 图解笔记 | 基础设施 | 实时 | 系统设计
四火 发于 2020年11月20日 07:11 | 点击: 522 | 展开摘要
今天这篇是关于实时流处理(real-time stream processing)的,这一类的系统这几年比较多了,但相对而言并没有之前提到的几类基础设施系统常见。为什么说这类系统如今更为常见呢?因为一般说来,或者说曾经有一个普遍的认知,就是 throughput 和 latency 难以兼得的事实:

同步系统适用于响应实时性要求高的请求,处理实时性要求高的数据,速度快,处理过程中关注的数据粒度小,吞吐量也相对受限;
异步系统适用于响应实时性要求低的请求,处理实时性要求低的数

查看全文: http://www.udpwork.com/item/17818.html

+0  常见分布式基础设施系统设计图解(六):分布式 MR 系统

Tag: System and Architecture | MapReduce | 图解笔记 | 基础设施 | 系统设计
四火 发于 2020年11月03日 02:17 | 点击: 428 | 展开摘要
其实对于 MR(Map Reduce)系统来说,可能更重要的是分治和分步处理的思想,因为现在的基于 MR 的数据处理框架或者平台,在实现上数据处理往往已经和最经典的对于 MR 的理解(最早应该是来自 Google 的那篇论文)有了不少区别。当然,我还是按照之前的做法,把一个典型的 MR 系统简单图示画出来了,这个图相对比较简单。

还是老规矩,虚线表示控制流,实线表示数据流。
上半部分用户向 Master 这个 job 管理节点提交一个 job 的请求,这个请求被拆解为若干个

查看全文: http://www.udpwork.com/item/17822.html

+0  淘宝软件基础设施构建实践

Tag: CDN | OceanBase | TFS | Tair | 分布式架构 | 底层架构 | 数据库 | 软件基础设施
zhengming 发于 2011年06月09日 13:44 | 点击: 2044 | 展开摘要
这个PPT是在第三届中国云计算大会上讲过。主要讲目前淘宝在软件基础设施的规划、实践和一点感悟。注:我们将来在这方面开展的工作会不限于这些。

淘宝软件基础设施构建实践
View more presentations from Wensong Zhang

简介:

首先,简单介绍淘宝网的系统规模和增长速度,以及对软件基础设施带来的挑战;接着,回顾淘宝图片存储与CDN系统的发展历史,如何从商用系统一步一步走到完全自主的系统,描述自主系统的主要架构与设计思想、性能指标和现

查看全文: http://www.udpwork.com/item/5820.html
|<<<1>>>| 一共1页, 3条记录