最新 | 最热门 | 最高评价

+0  Storm入门教程 第三章 Storm安装部署步骤

Tag: storm入门教程 | 实时数据分析引擎 | storm | 安装 | 部署
原 攀峰 发于 2013年01月05日 17:33 | 点击: 3878 | 展开摘要
本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。

3.1 Storm集群组件

Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work Node)。其分别对应的角色如下:

1. 主控节点(Master Node)上运行一个被称为Nimbus的后台程序,它负责在Storm集群内分发代码,分配任务给工作机器,并且负责监控集群运行状

查看全文: http://www.udpwork.com/item/8996.html

+0  基于storm引擎的虫洞系统

Tag: storm入门教程 | 实时数据分析引擎
taiqi.zyl 发于 2012年12月20日 09:42 | 点击: 1922 | 展开摘要
虫洞系统是吸星大法项目衍生出来实时计算的基础平台。

它以storm实时流处理引擎为基础,提供了计算力、数据源整合、数据交换、监控几大功能模块。任务的权限控制正在筹划中。

这几个功能模块是此实时计算平台提供稳定运行的基础,虫洞系统承载的业务包括:月光宝盒、一淘首页个性化(实时用户个性化指标的计算)、吸星大法实时日志接入(数据源整合)。

计算能力

基于storm的流式处理任务可以直接运行在虫洞系统上,避免了搭建、维护集群的成本,极大的节约了业务的成本、提高了开发的效率和系

查看全文: http://www.udpwork.com/item/8889.html

+0  实时计算引擎处理延迟的排查过程

Tag: 实时数据分析引擎 | 经验和技巧 | ltrace | strace | 处理延迟 | 实时计算引擎
原 攀峰 发于 2012年03月26日 22:13 | 点击: 1786 | 展开摘要
实时计算引擎在处理实时数据时,要保证新到来的数据被及时得到处理。例如,对于网站的访问日志数据,假设每一分钟有一个日志文件,那么实时计算引擎必须满足能够在一分钟之内处理完这一分钟的日志数据文件,否则会导致日志文件堆积而不能被及时处理。前几天,量子后端团队排查了一次实时计算引擎出现的处理延迟故障,其中使用到了ltrace和strace工具,在这里和大家分享一下。

1. 故障描述

当天由于大量突发异常数据的到来,导致实时计算引擎在处理每分钟日志文件时的速度大幅下降,出现明显的延

查看全文: http://www.udpwork.com/item/8513.html

+0  Mondrian中聚合表的应用

Tag: 实时数据分析引擎 | 数据库 | Mondrian | OLAP | 多维分析 | 聚合表
原 攀峰 发于 2012年03月25日 16:08 | 点击: 1540 | 展开摘要
最近在项目中使用了开源OLAP引擎——Mondrian实现一个多维分析系统,在项目后期系统优化阶段使用了Mondrian中的聚合表机制。这里结合 Mondrian官方资料和个人使用经验,对Mondrian中聚合表的概念、应用场景、如何使用、注意事项等内容做一个总结。

1.  OLAP相关概念

Mondrian是一个基于Java语言的开源OLAP引擎,它通过MDX语句执行查询,从关系型数据库RDBMS中读取数据,以多维度的形式展示查询结果。

Mondrian通过Schem

查看全文: http://www.udpwork.com/item/8514.html
|<<<1>>>| 一共1页, 4条记录