最新 | 最热门 | 最高评价

+0  LevelDB 的原理和动机

Tag: Computer System | SSDB | LevelDB | NoSQL
ideawu 发于 2013年01月14日 08:39 | 点击: 1696 | 展开摘要
写硬盘

为了持久化, 必须写硬盘.

Log 文件

为了快速写入硬盘, 必须采用追加方式顺序写到 log 文件. 这导致 log 文件中的数据是无序的.

sst 文件

为了快速从硬盘中读取数据, 基于查找算法和局部性原理考虑, 必须将数据排序组织到 sst 文件中.

多个 sst 文件而不是单个

为了快速的插入数据到 sst 文件中, 必须使用多个 sst 文件, 每个 sst 文件只保存一定范围的数据. 堆.

Levels

为了减少 log 文件合并所影响的

查看全文: http://www.udpwork.com/item/9082.html

+0  SSDB(LevelDB 服务器) PPT

Tag: C语言编程 | SSDB | LevelDB | NoSQL | Redis
ideawu 发于 2013年01月11日 23:34 | 点击: 3748 | 展开摘要
SSDB(LevelDB server) vs Redis from ideawu

Related posts:
LevelDB 服务器 SSDB 支持主从(master-slave)同步了!

SSDB – 支持 zset 的 LevelDB 服务器

SSDB 解决了 Snappy 导致 LevelDB 编译失败的问题

LevelDB 会丢数据吗?

你现在看的文章是: SSDB(LevelDB 服务器) PPT


Linode VPS -

查看全文: http://www.udpwork.com/item/9068.html

+0  SSDB与Redis命令对比

Tag: C语言编程 | SSDB | 高性能Web架构 | LevelDB | NoSQL | Redis
ideawu 发于 2013年01月10日 18:41 | 点击: 2942 | 展开摘要
Redis
SSDB

kv
get
get

set
set

del
del

incr/incrBy
incr

decr/decrBy
decr

getMultiple
multi_get

setMultiple
multi_set

del(multiple)
multi_del

keys
scan(for kv type only)

Redis
SSDB

hashmap
hget
hget

hset
hset

hdel
hdel

hIncrBy
h

查看全文: http://www.udpwork.com/item/9064.html

+0  从MySQL到Redis,提升数据迁移的效率

Tag: Redis | MySQL
nosqlfan 发于 2013年01月07日 23:10 | 点击: 1678 | 展开摘要
做开发的同学都知道,一旦设计到底层存储优化,数据结构甚至数据库的变更,通常都会进行数据迁移的工作。如果系统运行时间过长,数据迁移的数量可能非常庞大。这时候,如何进行高效的数据迁移,实际也是上线质量的直接影响因素之一。

下面内容是转载的一个小技巧(原文),无法适用于各种变化的场景,仅供大家参考。

场景是从MySQL中将数据导入到Redis的Hash结构中。当然,最直接的做法就是遍历MySQL数据,一条一条写入到Redis中。这样可能没什么错,但是速度会非常慢。而如果能够使M

查看全文: http://www.udpwork.com/item/9140.html

+10  LevelDB 服务器 SSDB 支持主从(master-slave)同步了!

Tag: C语言编程 | Linux | SSDB | LevelDB | NoSQL
ideawu 发于 2013年01月06日 13:34 | 点击: 7899 | 展开摘要
经过前段时间的连续奋战, 前两晚的代码清理和收尾, 基于 LevelDB 的 KV(支持数据类型包括 hashmap, zset) 存储服务器 SSDB 终于发布了 1.2.0 版本. 这是一个里程碑式的版本, 因为从此 SSDB 支持了主从同步(master-slave replication), 再加上在线备份功能, SSDB 已经成为一个真正的生产环境的存储服务器!

Google 的 LevelDB 存储引擎保证了 SSDB 至少能存储 T 级别的数据, 并在上面进行

查看全文: http://www.udpwork.com/item/9029.html

+0  SSDB 解决了 Snappy 导致 LevelDB 编译失败的问题

Tag: C语言编程 | Linux | SSDB | 高性能Web架构 | LevelDB | NoSQL
ideawu 发于 2013年01月05日 14:08 | 点击: 2095 | 展开摘要
有不少用户反馈, 对于曾经编译和安装过 LevelDB 和 Snappy 的环境, 编译 SSDB 会出错. 问题出在 LevelDB 无法正确地找到 Snappy 的库(libsnappy), 而且, SSDB 本身没有考虑 -lsnappy 选项.

最终我决定手动修改 LevelDB 的 Makefile 和 build_detect_platform 两个文件, 完全放弃 Snappy. 但 SSDB 将会在未来的版本中增加 Snappy(直接打包附带源码), 而不是

查看全文: http://www.udpwork.com/item/8983.html

+0  SSDB – 支持 zset 的 LevelDB 服务器

Tag: C语言编程 | Linux | SSDB | LevelDB | NoSQL
ideawu 发于 2012年12月19日 13:48 | 点击: 2494 | 展开摘要
Google 开源的 LevelDB 是一个单纯的 key-value 存储的类库, 可以理解为是一个存储引擎, 并不是常见意义的服务器. 你无法通过网络接口来使用它, 只能用 C/C++ 语言才能使用它.

LevelDB 速度非常快, 是 Google 内部分布式存储系统 Bigtable 的存储引擎的开源版本, 作为分布式系统的一个存储节点(Tablet). LevelDB 的设计思想和 Google 内部的版本部分相同, 但肯定也被隐藏了一些接口和思想, 而这部分很可

查看全文: http://www.udpwork.com/item/8883.html

+0  高性能MySQL - 1.MySQL架构

Tag: 数据库 | MySQL
youngsterxyf 发于 2012年12月11日 00:00 | 点击: 1175 | 展开摘要
MySQL逻辑架构

1.
每个客户连接在服务器进程中都拥有自己的线程,每个连接所属的查询都会在指定的某个单独线程中完成,这些线程轮流运行在某个CPU核心或CPU上。服务器负责缓存线程,因此不需要为每个新的连接重建或撤销线程。

2.
MySQL会解析查询,并创建一个内部数据结构(解析树),然后对其进行各种优化。其中包括重写查询,决定查询的读表顺序,以及选择需使用的索引等。用户可以通过特殊的关键字给优化器传递各种提示,影响它的决策过程。另外还可以请求服务器给出优化过程的各种说

查看全文: http://www.udpwork.com/item/11865.html

+1  程序员疫苗:代码注入

Tag: Web开发 | 网络安全 | CRSF | SQL | Web | XSS | 安全
陈皓 发于 2012年12月10日 08:34 | 点击: 3050 | 展开摘要
几个月在我的微博上说过要建一个程序员疫苗网站,希望大家一起来提交一些错误示例的代码,来帮助我们新入行的程序员,不要让我们的程序员一代又一代的再重复地犯一些错误。很多程序上错误就像人类世界的病毒一样,我们应该给我们的新入行的程序员注射一些疫苗,就像给新生儿打疫苗一样,希望程序员从入行时就对这些错误有抵抗力。

我的那个疫苗网站正在建议中(不好意思拖了很久),不过,我可以先写一些关于程序员疫苗性质的文章,也算是热热身。希望大家喜欢,先向大家介绍第一注疫苗——代码注入。

Shel

查看全文: http://www.udpwork.com/item/8825.html

+0  SQLite3 on Mac OS 日期时间篇

Tag: 编程技术 | Book | SQLite
latermoon 发于 2012年12月08日 01:17 | 点击: 1221 | 展开摘要
要测试各种sqlite3函数,再Mac下的终端里输入sqlite3进入操作界面

sqlite支持下列五种日期相关的函数

date(timestring, modifier, modifier, ...)
time(timestring, modifier, modifier, ...)
datetime(timestring, modifier, modifier, ...)
julianday(timestring, modifier, modifier, ...)
s

查看全文: http://www.udpwork.com/item/11261.html

+0  一淘数据部数据分析与开发-数据开发技术概述

Tag: 未分类 | hadoop | hive | nosql | storm | 一淘数据部 | 大数据 | 技术演变 | 数据开发 | 数据部
gang.yug 发于 2012年12月07日 18:20 | 点击: 1737 | 展开摘要
本博客会陆续更新一淘数据部 各位技术同学分享的资料。

本次分享的内容来自冷川同学:

受众:

对海量数据计算感兴趣,想系统了解数据开发技术,以及平时需要使用数据相关技术的同学

简介:

本节课是数据开发技术的入门课程,结合大淘宝数据平台数据平台及开发技术的演进过程,详细讲解目前在用的主要数据开发技术,并且为大家呈现出目前主要的数据开发技术框架图,最后在未来超海量数据的大背景下,数据同学应该主动结合系统痛点进行技术应用

文件下载:数据开发技术-冷川

查看全文: http://www.udpwork.com/item/8812.html

+0  HBase集群出现NotServingRegionException问题的排查及解决方法

Tag: NoSQL存储 | 经验和技巧 | HBase | NotServingRegionException异常 | Region下线
原 攀峰 发于 2012年11月26日 10:45 | 点击: 2225 | 展开摘要
HBase集群在读写过程中,可能由于Region Split或Region Blance等导致Region的短暂下线,此时客户端与HBase集群进行RPC操作时会抛出NotServingRegionException异常,从而导致读写操作失败。这里根据实际项目经验,详细描述这一问题的发现及排查解决过程。

1. 发现问题

在对HBase集群进行压力测试过程中发现,当实际写入HBase和从HBase查询的量是平时的若干倍时(集群规模10~20台,每秒读写数据量在几十万条记录的

查看全文: http://www.udpwork.com/item/8745.html
|<<<45678910>>>| 一共21页, 249条记录