最新 | 最热门 | 最高评价

+0  几个系统设计问题的解决思路

Tag: System Design & Architecture | 系统设计
四火 发于 2017年10月31日 10:22 | 点击: 1514 | 展开摘要
曾经写过一些系统设计方面的思考(比如这个和这个),但是最近准备面试,又接触了更多系统设计方面的问题。这里我想简单记录一些典型系统设计问题的思路。通过学习常见的系统,在心中形成一些问题解决的套路,以在思考和分析新问题的时候提供一些既定思路。很抱歉时间关系写得很简略,主要是提示一些思路和方向。

设计Tweeter

两种常见模型的trade off:

Pull on demand: merge x timelines

Push on change: async, read

查看全文: http://www.udpwork.com/item/16482.html

+0  工作流系统的设计

Tag: Recommended | System Design & Architecture | SWF | 工作流 | 设计
四火 发于 2016年08月19日 15:28 | 点击: 1970 | 展开摘要
几年前曾经写过一点点对于缓存框架设计的体会,这大半年和工作流系统打交道颇为丰富,因此想总结一点关于工作流系统的设计。

首先,明确工作流(workflow)系统的定义。维基百科上有极其简单的介绍。我记得以前在文章里面说过,作为大公司里面的小team,为了做一些有趣的东西,从而更好的招人,通常有几个众人皆知的突破口:比如一个更符合业务需求的storage,再比如一个自定义的工作流系统。在Amazon内部,我接触过好多个workflow,而且大多以Amazon SWF为原型(当时

查看全文: http://www.udpwork.com/item/15753.html

+0  一种工作流心跳机制的设计

Tag: System Design & Architecture | EMR | SWF | 工作流 | 心跳
四火 发于 2016年04月28日 13:38 | 点击: 1219 | 展开摘要
最近工作中一直和SWF(Amazon的Simple Work Flow)打交道,在一个基于SWF的工作流框架上面开发和修bug。SWF的activity超时时间是5分钟,在activity task开始执行以后,activity worker需要主动发送心跳请求告知service端:“我还活着,我还在干活”,如果出现超过5分钟(可以配置)没有心跳,SWF的service端就认为,你已经挂了,我需要把这个activity安排到别的activity worker上来执行了。借用A

查看全文: http://www.udpwork.com/item/15440.html

+0  Druid中国用户组第一次线下技术交流资料分享

Tag: 大数据 | Architecture | Big Data | Druid
Guancheng (G.C.) 发于 2016年03月29日 16:29 | 点击: 2274 | 展开摘要
Druid(http://www.druid.io)作为一个开源的大数据OLAP分析引擎,得到了越来越多的关注。在Druid co-founder Fangjin Yang的支持下,阿里,OneAPM,Hulu,小米,蚂蜂窝,滴滴,携程等公司的同学共同成立了Druid China User Group的微信群,并决定与2016年2月20日下午举办第一次线下技术交流,欢迎对大数据分析,Druid,OLAP引擎等话题感兴趣的同学参加。

PPT下载链接:http://pan.ba

查看全文: http://www.udpwork.com/item/15362.html

+0  三次性能优化经历

Tag: System Design & Architecture | Portal | Service | Spark | 性能优化
四火 发于 2016年02月16日 14:22 | 点击: 1658 | 展开摘要
最近在做一些性能优化工作,回想起工作这些年来,参与过的三次集中性能优化,每次都得折腾少则一个月,多则半年。这些内容既是不同视角、不同思路的比较,也是挺有趣的工作经历。

Portal的性能优化

这已经是大概五年前了,搞了接近半年的Portal性能优化,后来某些内容总结在这篇文章里面。既然是Portal,性能优化上就有它的特点。比如说:

Portal的性能优化需要从前端和后端两个角度去思考问题,先考虑客户端和服务端之间的交互模型,然后再在客户端和服务端单独考虑分而治之。这个

查看全文: http://www.udpwork.com/item/15213.html

+0  Recommended Books Reading

Tag: oracle | reading;books;performance;architecture;database;MySQL;Oracle
jametong 发于 2014年06月16日 15:55 | 点击: 2239 | 展开摘要
I. Architecuture

1. Scalable internet architecture

2. Release It!

3. Scalability Rules

4. Java Concurrency in Practise

II. Database

1. Relational Database Index Design

2. Oracle Core

3. MySQL TroubleShooting

High Performance MySQL

查看全文: http://www.udpwork.com/item/12634.html

+0  程序的库设计

Tag: Architecture | API | | 设计
四火 发于 2014年04月21日 01:07 | 点击: 1301 | 展开摘要
最近在Stack Exchange上面看到一个帖子,是问程序库设计的指导原则的,“What guidelines should I follow while designing a library?”,有趣的是,很多人都在谈论面向设计,各路API设计,还有程序语言设计,唯独搜索“程序库设计”,无论中文还是英文,Google还是百度都找不到太多内容。但是我想,没有程序员会否认库设计的重要性吧,我想在这里结合这个帖子谈谈我的想法。

在这个帖子里面,votes最高的回答,提到了这

查看全文: http://www.udpwork.com/item/12153.html

+0  实际技术选型的考虑因素

Tag: Architecture | Recommended | AWS | Jetty | Tomcat | 技术选型
四火 发于 2013年10月27日 10:44 | 点击: 1568 | 展开摘要
文章系本人原创,转载请保持完整性并注明出自《四火的唠叨》

最近在工作中我需要把数据从公共的Data Warehouse(数据仓库)导出来,放到属于我们team自己账号的云端存储资源中去,然后再在我们的应用中查询这样的资源。需要导出数据是因为直接从Data Warehouse查询数据是一个缓慢而且异步的过程,而我们的应用数据查询需要实时性。现在要解决这个问题有一些AWS的服务可供我们可以选择,基本上分成了两大类:

第一类是存储和内容分发(Storage & Cont

查看全文: http://www.udpwork.com/item/11025.html

+0  留心那些潜在的系统设计问题

Tag: Architecture | Recommended | 系统设计 | 评审 | 问题
四火 发于 2013年09月19日 23:21 | 点击: 1158 | 展开摘要
文章系本人原创,转载请保持完整性并注明出自《四火的唠叨》

在系统设计阶段考虑全面很难,有许多人倾向于把整个设计分成若干阶段,在迭代中完成整个设计,这本身是非常好的,但是,就如同“先做出来,以后再优化”这样的经典谎言一样,本身并无错,只是许多程序员都不习惯于真正的迭代设计和迭代优化。举例来说,有一个日益复杂的类,每个人都修改一点点,一直到最后都没有人愿意去做重构,大家的心态都是一样的:“我只修改了一点点,为什么要我去动那么大的刀,于我没有任何好处”。我不在这里谈论这一问题的解

查看全文: http://www.udpwork.com/item/11018.html

+0  Impala与Stinger对比

Tag: 业界评论 | 大数据 | 系统架构 | Architecture | Big Data
Guancheng (G.C.) 发于 2013年08月01日 08:31 | 点击: 8082 | 展开摘要
Tez和Impala现在竞争非常激烈,前者走的是基于DAG的精细化管理,后者是基于MPP的技术架构重头开始造了一个C++版本的SQL引擎。截止到2013年7月,Hortonworks的Stinger(Hive 0.11 + Tez)还是比Impala慢不少,毕竟Impala的动作更早一些。Hortonworks跟Cloudera这场硬仗干的真是激烈啊。

与大家分享三个演讲(墙外),一个是Impala与Stinger的对比,一个是Stinger的核心-Tez的介绍,一个是Im

查看全文: http://www.udpwork.com/item/10323.html

+0  用户积分功能的设计

Tag: Architecture | 异步 | 数据库 | 用户 | 积分
四火 发于 2013年06月15日 22:58 | 点击: 1600 | 展开摘要
文章系本人原创,转载请保持完整性并注明出自《四火的唠叨》

有一个SNS应用,用户在使用的过程中积累积分,例如登陆+3点,个人空间每次浏览+1点,结交每个朋友+5点等等。同时,很重要的一点是,用户需要看到自己的积分累计有多少,能够根据积分划分用户等级,在自己的空间展示积分。

在用户量比较大的情况下(例如超过三千万),这是一个比较典型的读写都很频繁的问题,而且写入的次数可能和读取的次数差别不大(大多数SNS应用中,读次数远超写次数的场景居多,例如用户的状态信息,更新一次以后

查看全文: http://www.udpwork.com/item/10021.html

+0  开始看《Game Engine Architecture》

Tag: gae | 游戏开发 | Game Engine Architecture
枫之羽 发于 2012年07月08日 19:21 | 点击: 2203 | 展开摘要
从去年初就关注了这本书,本来等着Milo大神说翻译半年就能搞定的,结果到现在还没有出版,对于英文的大部头的书籍一般自己也没有勇气去这么直白的看,因此拖到现在,据说这本在国外是作为本科生的教材,所以讲得比较基础,不过还是比较全面、系统的。这本书相当的厚,800多页,每晚回去看一些吧,争取今年能看完它。

地址:http://www.amazon.com/Game-Engine-Architecture-Jason-Gregory/dp/1568814135

查看全文: http://www.udpwork.com/item/7666.html
|<<<123>>>| 一共3页, 33条记录