最新 | 最热门 | 最高评价

+0  Spark性能优化——和shuffle搏斗

Tag: Distributed System | shuffle | Spark
四火 发于 2016年05月22日 02:48 | 点击: 1220 | 展开摘要
Spark的性能分析和调优很有意思,今天再写一篇。主要话题是shuffle,当然也牵涉一些其他代码上的小把戏。

以前写过一篇文章,比较了几种不同场景的性能优化,包括portal的性能优化,web service的性能优化,还有Spark job的性能优化。Spark的性能优化有一些特殊的地方,比如实时性一般不在考虑范围之内,通常我们用Spark来处理的数据,都是要求异步得到结果的数据;再比如数据量一般都很大,要不然也没有必要在集群上操纵这么一个大家伙,等等。事实上,我们都知

查看全文: http://www.udpwork.com/item/15513.html
|<<<1>>>| 一共1页, 1条记录