最新 | 最热门 | 最高评价
^..^

+0  Storm入门教程 第五章 一致性事务

Tag: storm入门教程
muhan.jc 发于 2013年01月09日 16:23 | 点击: 7488 | 展开摘要
第五章 一致性事务

Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。

Transactional Topology目前已经不再维护，由Trident来实现事务性topology，但是原理相同。

5.1一致性事务的设计

Storm如何实现即对tuple并行处

查看全文: http://www.udpwork.com/item/9046.html
---

+0  storm入门教程 第四章 消息的可靠处理

Tag: storm入门教程 | 未分类
taiqi.zyl 发于 2013年01月07日 15:02 | 点击: 12405 | 展开摘要
4.1 简介

storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。

4.2 理解消息被完整处理

一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建。

我们来思考一下流式的“单词统计”的例子：

storm任务从数据源（Kestrel queue）每次读取一个完整的英文句子；将这个句子分解为独立的单词，最后，

查看全文: http://www.udpwork.com/item/9038.html
---

+0  Storm入门教程 第三章 Storm安装部署步骤

Tag: storm入门教程 | 实时数据分析引擎 | storm | 安装 | 部署
原 攀峰 发于 2013年01月05日 17:33 | 点击: 3877 | 展开摘要
本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。

3.1 Storm集群组件

Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：

1. 主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状

查看全文: http://www.udpwork.com/item/8996.html
^..^

+0  Storm入门教程 第二章 构建Topology

Tag: storm入门教程
muhan.jc 发于 2013年01月05日 15:54 | 点击: 2207 | 展开摘要
2.1 Storm基本概念

在运行一个Storm任务之前，需要了解一些概念：

Topologies

Streams

Spouts

Bolts

Stream groupings

Reliability

Tasks

Workers

Configuration

Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓扑（topology），这两者之间是非常不一样的。一个关键的区别是： 一

查看全文: http://www.udpwork.com/item/8984.html
---

+0  storm入门教程 第一章 前言

Tag: storm入门教程
muhan.jc 发于 2012年12月27日 13:45 | 点击: 2481 | 展开摘要
1.1   实时流计算

互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。

随着互联网的更进一步发展，从Portal信息浏览型到Search信息搜索型到SNS关系交互传递型，以及电子商务

查看全文: http://www.udpwork.com/item/8930.html
---

+0  基于storm引擎的虫洞系统

Tag: storm入门教程 | 实时数据分析引擎
taiqi.zyl 发于 2012年12月20日 09:42 | 点击: 1922 | 展开摘要
虫洞系统是吸星大法项目衍生出来实时计算的基础平台。

它以storm实时流处理引擎为基础，提供了计算力、数据源整合、数据交换、监控几大功能模块。任务的权限控制正在筹划中。

这几个功能模块是此实时计算平台提供稳定运行的基础，虫洞系统承载的业务包括：月光宝盒、一淘首页个性化（实时用户个性化指标的计算）、吸星大法实时日志接入（数据源整合）。

计算能力

基于storm的流式处理任务可以直接运行在虫洞系统上，避免了搭建、维护集群的成本，极大的节约了业务的成本、提高了开发的效率和系

查看全文: http://www.udpwork.com/item/8889.html
|<<<1>>>| 一共1页, 6条记录