最新 | 最热门 | 最高评价

+0  港股实时行情系统设计

Tag: 网络编程 | 高性能Web架构
ideawu 发于 2018年07月26日 16:24 | 点击: 1288 | 展开摘要
做一下记录。

做了一个可靠传输层,优点是层次分明,缺点是当丢包时价格更新不及时。可以优化成只重传不排序,Aggregator 区分是否是最新包,不是最新包则不更新最新价。

对外提供推和拉接口,两种都有适用场景,不能只提供一种。Query Server 采用 HTTP 协议,Push Server 可以用 WebSocket 协议。

把图改成 stack 形式。

Related posts:
为什么iComet比nginx-push-stream-module更好?

查看全文: http://www.udpwork.com/item/16971.html

+0  三次性能优化经历

Tag: System Design & Architecture | Portal | Service | Spark | 性能优化
四火 发于 2016年02月16日 14:22 | 点击: 1681 | 展开摘要
最近在做一些性能优化工作,回想起工作这些年来,参与过的三次集中性能优化,每次都得折腾少则一个月,多则半年。这些内容既是不同视角、不同思路的比较,也是挺有趣的工作经历。

Portal的性能优化

这已经是大概五年前了,搞了接近半年的Portal性能优化,后来某些内容总结在这篇文章里面。既然是Portal,性能优化上就有它的特点。比如说:

Portal的性能优化需要从前端和后端两个角度去思考问题,先考虑客户端和服务端之间的交互模型,然后再在客户端和服务端单独考虑分而治之。这个

查看全文: http://www.udpwork.com/item/15213.html

+0  AWS/AliYun东西向网络性能摸底

Tag: 公有云 | 网络 | 高性能
leiqzhang 发于 2016年01月25日 09:24 | 点击: 1587 | 展开摘要
声明:

本博客欢迎转发,但请保留原作者信息!

博客地址:http://t.51gocloud.com

新浪微博:@leivli

内容系本人学习、研究和总结,如有雷同,实属荣幸!

AWS 东西向网络性能

AWS对外宣称的网络性能SLA是通过实例类型进行区分,包括低、低到中等、适中、高和10Gb等5挡,同时有些实例类型是支持Enhanced Neworking,且部分实例类型支持放置到相同的置放群组(Placement Group)中,以支持更低的延迟。(参考:AWS

查看全文: http://www.udpwork.com/item/15154.html

+0  Spark的性能调优

Tag: Distributed System | Recommended | Spark | 性能
四火 发于 2015年12月21日 14:55 | 点击: 1474 | 展开摘要
下面这些关于Spark的性能调优项,有的是来自官方的,有的是来自别的的工程师,有的则是我自己总结的。

基本概念和原则

首先,要搞清楚Spark的几个基本概念和原则,否则系统的性能调优无从谈起:

每一台host上面可以并行N个worker,每一个worker下面可以并行M个executor,task们会被分配到executor上面去执行。Stage指的是一组并行运行的task,stage内部是不能出现shuffle的,因为shuffle的就像篱笆一样阻止了并行task的运

查看全文: http://www.udpwork.com/item/15067.html

+0  从未降级的搜索-主搜索分层优化

Tag: 性能优化 | 搜索引擎
栋宇 发于 2015年01月04日 11:33 | 点击: 1650 | 展开摘要
摘要

  多年以来,主搜索的集群架构和排序算法相对比较单一,一定程度上制约了搜索业务的发展。本文主要介绍主搜索最新采用的索引分层技术。这种分层技术把主搜索集群架构从二维扩展到了三维。基于这种三维的新架构,主搜索可以根据不同的应用场景,选择不同的检索和排序算法,从而更好的提升主搜索的检索性能与检索效果。实践表明,这种分层技术能提升主搜索120%的检索性能和6%的搜索GMV。

1. 背景

主搜索多年以来一直采用二维集群架构来提供淘宝网商品的检索服务,其结构如图 1所示。主要

查看全文: http://www.udpwork.com/item/13726.html

+0  从未降级的搜索技术 – HBase集群升级与优化

Tag: 分布式技术 | 性能优化 | Hadoop | hbase
雨田 发于 2014年11月26日 18:22 | 点击: 2050 | 展开摘要
战争从来都是拼后勤拼平台支撑的,天猫双十一这一天对于我们搜索事业部来说,就是一场高强度的数字化战争。为了这一天,各兄弟业务线的战友们已经摩拳擦掌,纷纷亮出各种新式武器,而我们原有的离线系统平台却渐渐显出疲态,慢慢被来自各业务线的不断提升的压力需求搞得捉襟见肘了。个性化搜索实时数据处理平台(Pora)在双十一将正式亮相,当时我们预计会有数以十亿计的新增HBase读写请求,如果不进行升级优化,原有的离线集群预计将无法承受这一前所未有的压力;天猫业务线的增量在双十一更是重中之重,届

查看全文: http://www.udpwork.com/item/13560.html

+0  聊聊多线程程序的load balance

Tag: 性能优化
七伤 发于 2014年11月25日 10:30 | 点击: 1907 | 展开摘要
说起load balance,一般比较容易想到的是大型服务在多个replica之间的load balance、和kernal的load balance。前者一般只是在流量入口做一下流量分配,逻辑相对简单;而后者则比较复杂,需要不断发现正在运行的各个进程之间的imbalance,然后通过将进程在CPU之间进行迁移,使得各个CPU都被充分利用起来。

而本文想要讨论的load balance有别于以上两种,它是多线程(多进程)server程序内部,各个worker线程(进程)之间

查看全文: http://www.udpwork.com/item/13561.html

+0  Docker在VMware虚拟化上的性能测试

Tag: docker | 虚拟化 | 高性能
Hao Luo 发于 2014年10月22日 01:32 | 点击: 4251 | 展开摘要
VMware Blog贴出了docker在其虚拟化软件上运行的性能报告:

测试场景

Native: Linux OS running directly on hardware (Ubuntu, CentOS)

vSphere VM: Upcoming release of vSphere with the same guest OS as native

Native-Docker: Docker version 1.2 running on a native OS

查看全文: http://www.udpwork.com/item/13415.html

+0  Netmap 高性能网络I/O框架

Tag: 未分类 | netmap | 网络 | 高性能
xianchaobo 发于 2014年07月17日 06:08 | 点击: 3303 | 展开摘要
1. Netmap简介

Netmap是一个高性能收发原始数据包的框架,由Luigi Rizzo等人开发完成,其包含了内核模块以及用户态库函数。其目标是,不修改现有操作系统软件以及不需要特殊硬件支持,实现用户态和网卡之间数据包的高性能传递。其原理图如下,数据包不经过操作系统内核进行处理,用户空间程序收发数据包时,直接与网卡进行通信。

2. 数据结构

在Netmap框架下,内核拥有数据包池,发送环\接收环上的数据包不需要动态申请,有数据到达网卡时,当有

查看全文: http://www.udpwork.com/item/12748.html

+0  iComet 0.2.2.1 稳定版发布和Android聊天App示例

Tag: C/C++语言编程 | 高性能Web架构 | comet
ideawu 发于 2014年04月15日 09:58 | 点击: 2124 | 展开摘要
这个版本主要是修复了内存泄露的 BUG, 让 icomet 的内存占用更少了,

在之前这篇博客里介绍. 对于一个 1 万并发连接的应用, 只需要占用不到 20M 的内存.

0.2.2.1 (2014-04-09)

新特性:

重构代码

修复BUG:

修复内存泄露 BUG, 确保在 connection_closecb 中调用 evhttp_send_reply_end(2014-04-12)

0.2.2 (2014-03-24)

新特性:

取消内存池, 直接使

查看全文: http://www.udpwork.com/item/12126.html

+0  Libevent HTTP 内存泄露

Tag: C/C++语言编程 | 高性能Web架构 | comet | libevent
ideawu 发于 2014年04月12日 12:11 | 点击: 2186 | 展开摘要
支持百万并发连接的 comet 推送服务器 icomet 刚刚修复了一个内存泄露的 bug, 这个 bug 是因为不正确地使用 libevent 导致的, 无法用 valgrind 等工具检查出来.

这个 bug 的原因是这样的, 当客户端请求到来时, 服务器端调用了

evhttp_send_reply_start();

表示开始向客户端推送数据(使用 HTTP chunked), 最后当 long-polling 结束时, 应该调用

evhttp_send_repl

查看全文: http://www.udpwork.com/item/12116.html

+0  iComet 的一个应用场景

Tag: C/C++语言编程 | 高性能Web架构 | comet
ideawu 发于 2014年04月05日 01:57 | 点击: 6333 | 展开摘要
iComet 是我做的另一个开源项目, 已经有不少朋友将 iComet 应用到了 Web IM, 移动 App 等应用的线上生产环境, 前几天还有一位朋友帮忙开发并开源了 iComet 的 Java/Android SDK.

最近在做一个手机端 App 与桌面 PC 程序联动的项目, 简单来说, 这个软件就是要在手机上进行操作, 并立即根据操作的结果更新 PC 上的程序的响应. 例如在手机上点击了一个按钮, 就要在 PC 上自动打开某个窗口. 其中一个重要的步骤便是从服务器

查看全文: http://www.udpwork.com/item/12087.html
|<<<1234567>>>| 一共8页, 90条记录