最新 | 最热门 | 最高评价

+0  三次性能优化经历

Tag: System Design & Architecture | Portal | Service | Spark | 性能优化
四火 发于 2016年02月16日 14:22 | 点击: 1635 | 展开摘要
最近在做一些性能优化工作,回想起工作这些年来,参与过的三次集中性能优化,每次都得折腾少则一个月,多则半年。这些内容既是不同视角、不同思路的比较,也是挺有趣的工作经历。

Portal的性能优化

这已经是大概五年前了,搞了接近半年的Portal性能优化,后来某些内容总结在这篇文章里面。既然是Portal,性能优化上就有它的特点。比如说:

Portal的性能优化需要从前端和后端两个角度去思考问题,先考虑客户端和服务端之间的交互模型,然后再在客户端和服务端单独考虑分而治之。这个

查看全文: http://www.udpwork.com/item/15213.html

+0  从未降级的搜索-主搜索分层优化

Tag: 性能优化 | 搜索引擎
栋宇 发于 2015年01月04日 11:33 | 点击: 1601 | 展开摘要
摘要

  多年以来,主搜索的集群架构和排序算法相对比较单一,一定程度上制约了搜索业务的发展。本文主要介绍主搜索最新采用的索引分层技术。这种分层技术把主搜索集群架构从二维扩展到了三维。基于这种三维的新架构,主搜索可以根据不同的应用场景,选择不同的检索和排序算法,从而更好的提升主搜索的检索性能与检索效果。实践表明,这种分层技术能提升主搜索120%的检索性能和6%的搜索GMV。

1. 背景

主搜索多年以来一直采用二维集群架构来提供淘宝网商品的检索服务,其结构如图 1所示。主要

查看全文: http://www.udpwork.com/item/13726.html

+0  从未降级的搜索技术 – HBase集群升级与优化

Tag: 分布式技术 | 性能优化 | Hadoop | hbase
雨田 发于 2014年11月26日 18:22 | 点击: 2000 | 展开摘要
战争从来都是拼后勤拼平台支撑的,天猫双十一这一天对于我们搜索事业部来说,就是一场高强度的数字化战争。为了这一天,各兄弟业务线的战友们已经摩拳擦掌,纷纷亮出各种新式武器,而我们原有的离线系统平台却渐渐显出疲态,慢慢被来自各业务线的不断提升的压力需求搞得捉襟见肘了。个性化搜索实时数据处理平台(Pora)在双十一将正式亮相,当时我们预计会有数以十亿计的新增HBase读写请求,如果不进行升级优化,原有的离线集群预计将无法承受这一前所未有的压力;天猫业务线的增量在双十一更是重中之重,届

查看全文: http://www.udpwork.com/item/13560.html

+0  聊聊多线程程序的load balance

Tag: 性能优化
七伤 发于 2014年11月25日 10:30 | 点击: 1854 | 展开摘要
说起load balance,一般比较容易想到的是大型服务在多个replica之间的load balance、和kernal的load balance。前者一般只是在流量入口做一下流量分配,逻辑相对简单;而后者则比较复杂,需要不断发现正在运行的各个进程之间的imbalance,然后通过将进程在CPU之间进行迁移,使得各个CPU都被充分利用起来。

而本文想要讨论的load balance有别于以上两种,它是多线程(多进程)server程序内部,各个worker线程(进程)之间

查看全文: http://www.udpwork.com/item/13561.html

+0  Pora2应用中HBase高并发读写性能优化

Tag: 分布式技术 | 性能优化
毅行 发于 2014年03月21日 17:47 | 点击: 1928 | 展开摘要
淘宝搜索的个性化离线实时分析系统Pora已升级至Pora2,Pora2是在基于Yarn的流式计算框架IStream基础上开发的,同时为保证数据和消息的实时处理系统中较多地使用了HBase,是一个典型的高并发读写HBase的分布式应用。

系统在发布之初遇到了比较严重的性能问题,表现为处理速度跟不上实时日志,并且整个Hadoop/HBase集群压力大,连带其它应用受影响。经过排查发现问题主要都出现在了对HBase的使用上,现将遇到的几个典型的使用HBase的问题总结如下,希望能

查看全文: http://www.udpwork.com/item/11992.html

+0  

Tag: 性能优化 | 浏览器 | learning
alimon 发于 2014年03月21日 10:06 | 点击: 1465 | 展开摘要
幕后故事

要谈Reflow(重排)和Reprint(重绘)总是离不开浏览器解析网页的原理,可以先看下这篇文章:《How browsers work》(中文翻译版,陈浩压缩版)了解下浏览器在背后都做了些什么。

浏览器由很多组件构成,他们都有不同的分工,协同工作把网页渲染出来。其中呈现引擎(Webkit)和Javascript解释器(V8)是我们今天所关注的重点。呈现引擎会尽可能快的完成:把HTML解析为DOM树(同时解析CSS)→同时构造呈现树(Render tree)→布

查看全文: http://www.udpwork.com/item/12872.html

+0  redis超时问题分析

Tag: 性能优化 | 搜索引擎
德言 发于 2014年02月26日 22:11 | 点击: 1362 | 展开摘要
Redis在分布式应用中占据着越来越重要的地位,短短的几万行代码,实现了一个高性能的数据存储服务。最近dump中心的cm8集群出现过几次redis超时的情况,但是查看redis机器的相关内存都没有发现内存不够,或者内存发生交换的情况,查看redis源码之后,发现在某些情况下redis会出现超时的状况,相关细节如下。

1. 网络。Redis的处理与网络息息相关,如果网络出现闪断则容易发生redis超时的状况。如果出现这种状况首先应查看redis机器网络带宽信息,判断是否有闪断

查看全文: http://www.udpwork.com/item/11773.html

+0  YAR 并行RPC框架研究

Tag: 前端技术 | 性能优化
吴帅 发于 2013年10月30日 15:53 | 点击: 1873 | 展开摘要
前几天,部门召开了PHP技术峰会 学习会议,大家分别对这次会议的PPT 做了简单的介绍,

其中提到了 鸟哥【惠新辰】的一篇PPT《微博LAMP 演变》,如果谁有需要可以去谷歌搜,或者去

http://www.laruence.com/2013/08/15/2913.html  他的博客去看一下,我就不提供下载链接了。

这篇PPT中提到了几个点: Yaf,Yac,Yar;我们会后也分任务对这些去做一些了解。

我选了Yar,去年5月份,因为一淘首页要做一次Bigpipe的

查看全文: http://www.udpwork.com/item/11040.html

+0  Unique索引优化实践

Tag: 性能优化 | 搜索引擎
一浪 发于 2013年08月15日 18:01 | 点击: 1284 | 展开摘要
Unique索引,有时也称Primary Key索引,顾名思义就是对于这个索引字段每个doc的值都是唯一的,如各种id字段:product id,customer id, campaign id和bidword id等。这种类型的索引一般用来进行高效的查询,最典型的应用场景就是进行附表join查询,即对主表中查到的每一个doc,都在附表中查询其对应的附表doc信息。所以,对这种类型的索引进行优化会对整体查询性能有很好的提升,特别是在主表查询的结果很多的情况下。本文主要总结一下

查看全文: http://www.udpwork.com/item/10387.html

+0  php扩展中如何定义线程安全的全局对象

Tag: 其他 | 前端技术 | 性能优化 | PHP | php扩展 | 线性安全
沧龙 发于 2013年07月16日 17:02 | 点击: 2292 | 展开摘要
传统的php裁剪类只能按位置裁剪。如按中间位置裁剪。这种裁剪方式可能会导致一个人被截成两段。为了解决这个问题,最近开发了一个php扩展(tclip),能自动识别人脸或者图像中其它重要区域,然后进行裁剪。裁剪效果如下:

原图:

如果按照从中间截取为 400 * 225 大小大图片。效果如下:

使用tclip扩展裁剪图片效果如下:

在人脸识别的过程中,需要使用opencv中的CascadeClassifier加载一个xml的配置文档。因为文档比较大,导致加载时间比较长。为

查看全文: http://www.udpwork.com/item/10215.html

+0  JVM的GC简介和实例

Tag: 其他 | 性能优化 | gc | java | jvm
昆仑 发于 2013年07月13日 16:32 | 点击: 1783 | 展开摘要
本文是一次内部分享中总结了jvm gc的分类和一些实例, 内容是introduction级别的,供初学人士参考.

成文仓促,难免有些错误,如果有大牛发现,请留言,我一定及时更正,谢谢!

JVM内存布局主要包含下面几个部分:

Java Virtual Machine Stack: 也就是我们常见的局部变量栈,线程私有,保存线程执行的局部变量表、操作栈、动态连接等。

Java Heap:我们最常打交道的内存区域,几乎所有对象的实例都在这个区域分配。所谓的GC基本上也就是跟

查看全文: http://www.udpwork.com/item/10188.html

+0  不同SSD盘组合搜索引擎单机性能测试

Tag: 性能优化 | 搜索引擎 | SSD | 引擎性能 | 软RAID
钓雪 发于 2013年06月09日 09:39 | 点击: 1840 | 展开摘要
一、测试机器

Linux huawei_C5.co3 2.6.32-220.23.2.ali927.el5.x86_64 #1 SMP Mon Jan 28 14:57:06 CST 2013 x86_64 x86_64 x86_64 GNU/Linux

MemTotal:       49520300kB

Intel(R) Xeon(R) CPU E5-2630 0 @ 2.30GHz  * 24

注:测试相关机型:

A7机型:CPU 6核 * 4,主频1.9GH

查看全文: http://www.udpwork.com/item/9990.html
|<<<123>>>| 一共3页, 36条记录