最新 | 最热门 | 最高评价

+0  对hbase coprocessor使用方法不当导致的一个程序bug

Tag: 分布式技术 | hbase | NoSQL
宝牛 发于 2014年03月21日 17:42 | 点击: 1675 | 展开摘要
在某系统中对一张表数据写入量很大,频繁的compaction导致效率很低。这张表已经presharding过了,有几百个region,由于某些原因,短期内不太允许增大region数。当时采用的方法是每小时生成一张表,每小时的数据只写对应的表。后来发现这24张表对后面的业务处理带来很大的麻烦。需要把这24张表合为一张表,于是写了个DisableRegionCompaction,想对指定时间前的数据禁用compaction。

看了hbase coprocessor的官网介绍(h

查看全文: http://www.udpwork.com/item/11994.html

+0  SSDB NoSQL 数据库引擎介绍

Tag: SSDB | LevelDB | NoSQL
ideawu 发于 2014年03月05日 11:32 | 点击: 1781 | 展开摘要
开源的 SSDB NoSQL 数据库是一个完整的数据库服务器, 可以提供高于 Redis 存储容量 100 倍的存储需求. 日前, 我把 SSDB 数据库的网络部分和数据库引擎部分分离出来, 形成一个独立的 SSDB 数据库存储引擎 Libssdb, 这样, 你的应用包括移动端的 App, 都可以嵌入 SSDB 引擎.

Libssdb 是对 LevelDB 的封装, 形成了和 Redis 相似的丰富的数据结构和接口, 比纯粹的 KV 存储引擎要更先进, 因为纯 KV 表达业

查看全文: http://www.udpwork.com/item/11894.html

+0  Collecting Windows BIOS and Host Serial Number

Tag: PowerShell | SQLServer | Technology | Windows
Haidong Ji 发于 2014年02月21日 09:38 | 点击: 2292 | 展开摘要
After imporving JiMetrics yesterday so it tries to determine if the host is a VM or not, I made another improvement today: collecting host server BIOS related information and serial number.

I don’t know about you, in the past when I

查看全文: http://www.udpwork.com/item/11752.html

+0  Determining if a Windows host is a VM in JiMetrics

Tag: PowerShell | SQLServer | Technology | Windows
Haidong Ji 发于 2014年02月20日 12:34 | 点击: 3708 | 展开摘要
I’ve been using my own SQL Server metrics collection package called JiMetrics for a couple of years. It is easy to set up. All you need are just two things: SQL Server instance and an account that has admin access to both the servers

查看全文: http://www.udpwork.com/item/11748.html

+0  HBase在单Column和多Column情况下批量Put的性能对比分析

Tag: NoSQL存储 | column | HBase
原 攀峰 发于 2014年01月17日 19:12 | 点击: 2226 | 展开摘要
针对HBase在单column family单column qualifier和单column family多column qualifier两种场景下,分别批量Put写入时的性能对比情况,下面是结合HBase的源码来简单分析解释这一现象。

1. 测试结果

在客户端批量写入时,单列族单列模式和单列族多列模式的TPS和RPC次数相差很大,以客户端10个线程,开启WAL的两种模式下的测试数据为例,

单列族单列模式下,TPS能够达到12403.87,实际RPC次数为53次;

查看全文: http://www.udpwork.com/item/11580.html

+0  HBase一次慢查询请求的问题排查与解决过程

Tag: NoSQL存储 | Compact | HBase
原 攀峰 发于 2014年01月13日 17:07 | 点击: 2495 | 展开摘要
以下是我们对HBase集群一次慢查询请求问题的排查解决过程。

1. 发现问题

项目中有一张HBase表,每天凌晨以后会集中批量导入一批数据,导入数据量很大,在千万到亿的量级,然后白天为用户提供查询服务。某天突然发现, 该表按照各个region(共计256个)分别仅顺序scan少数几条数据时,部分region的查询请求的响应时间很慢,长达10秒甚至几十秒不等。

2. 排查问题

首先,通过查看HBase的region server监控界面,看到这张表的每个region下面

查看全文: http://www.udpwork.com/item/11525.html

+0  SSDB 支持 TTL 过期机制

Tag: SSDB | LevelDB | NoSQL | Redis
ideawu 发于 2013年12月19日 13:28 | 点击: 1938 | 展开摘要
从 SSDB 1.6.7 版本开始, 增加了 Key 过期功能, 可以支持 Key 到期自动删除, 这样, SSDB 就可以作为一个持久化的缓存服务来使用. 该功能和 Redis 的 ttl/expire 一样, 使用方法是:

$ssdb->setx('key', 'value', 60);

这段代码表示, 设置 key=value, 同时到 60 秒后, 自动删除 key. 需要注意的是, TTL 只支持 KV 数据结构, hash(map) 和 zset 不支持

查看全文: http://www.udpwork.com/item/11343.html

+0  SSDB 1.6.6 稳定版发布, 支持 hclear/zclear

Tag: SSDB | LevelDB | NoSQL
ideawu 发于 2013年11月11日 10:14 | 点击: 1843 | 展开摘要
SSDB 1.6.6 稳定版已经发布了, 这个版本主要的改动如下:

支持 hclear/zclear 命令, 用于清除单个 hashmap/zset.

采用多线程, 写操作和 scan 等可能慢的读操作都放在线程池中执行.

SSDB 是一个高性能的 NoSQL 数据库, 使用 LevelDB 作为存储引擎, 支持 hashmap/zset 等丰富的列表(集合)数据结构.

Related posts:
SSDB – 支持 zset 的 LevelDB 服务器

查看全文: http://www.udpwork.com/item/11097.html

+0  SSDB 采用里程碑式版本发布机制

Tag: SSDB | LevelDB | NoSQL | Redis
ideawu 发于 2013年11月06日 22:18 | 点击: 1701 | 展开摘要
从 1.6.4 版本开始, SSDB 采用里程碑式的版本发布机制, 每一个稳定的版本都会作为 git 库中的一个 branch, 而 master 的代码是最新的待发布的代码. 在 github 项目主页, 默认显示的是最新的稳定版本的分支. 目前, 最新的 SSDB 稳定版本是 stable-1.6.4.

目前, master 上的代码相对 stable-1.6.4 版本, 有了比较大的改动, 加入了多线程支持. 例如, scan 等命令都会在单独的线程中执行, 所以,

查看全文: http://www.udpwork.com/item/11076.html

+0  Introducing JiMetrics

Tag: SQLServer | Technology | Windows
Haidong Ji 发于 2013年11月06日 11:30 | 点击: 3337 | 展开摘要
For the impatient, here is the link to JiMetrics web site, where you can get the scripts and get going. To learn why it is called JiMetrics, you will have to read all the way to the end.

During the last couple of years, I’ve been wor

查看全文: http://www.udpwork.com/item/11075.html

+0  SSDB 增加 zrank, zrange 命令

Tag: C语言编程 | SSDB | KV | LevelDB | NoSQL | Redis
ideawu 发于 2013年10月23日 13:05 | 点击: 1766 | 展开摘要
Zrank/zrrank 命令是 zset 数据结构的一个特有命令, 用于求某个元素在集合中的排序名次. 对于 Redis 来说, 数据都在内存里, 而且是排序的, 所以求元素的排名(indexOf)可以很快, 但因为 SSDB 的数据主要在硬盘中, 所以, 求排序名次可不是那么简单.

基于这个考虑, SSDB 原来并不支持 zrank 命令. 但 zrank 命令的需求还是有的, 经过考虑, 所以在 1.6.3 版本中增加了 zrank 命令.

不过, 使用这个命令应该

查看全文: http://www.udpwork.com/item/11008.html

+0  SSDB 的 C++ 客户端接口

Tag: C语言编程 | SSDB | KV | LevelDB | NoSQL
ideawu 发于 2013年10月17日 23:27 | 点击: 1755 | 展开摘要
SSDB 本身是用 C++ 语言编写的, 所以天生就支持 C++ 客户端 API. SSDB 源码中自带的 leveldb-import.cpp, ssdb-dump.cpp 等程序, 也是 C++ 客户端的例子. 不过, 这些 API 依赖整个项目, 编译和链接的参数非常繁琐. 因此, 有必要开发对用户友好的 C++ API, 减少依赖, 方便开发 SSDB 的 C++ 客户端应用.

我很高兴的通知, 接口简单, 对用户友好的 SSDB 的 C++ 客户端 API 已经有

查看全文: http://www.udpwork.com/item/10971.html
|<<<1234567>>>| 一共21页, 249条记录