最新 | 最热门 | 最高评价

+0  [转]KV存储的对比

Tag: 数据库
鸟窝 发于 2017年10月10日 11:39 | 点击: 403 | 展开摘要
本文转自饿了么的高级架构师陈东明(cadem)发布于云栖社区的文章: KV存储的对比。作者还整理了另外一篇文章: 存储系统的分类,列举了常见的一些kv存储模型和实现。

最近对各种KV存储进行一个比较,从存储引擎到存储引擎的类型,到单机版的kvstore,再到分布式kvstore集群。

存储引擎的类型

类型
全称

btree

LSH
Log-Structured Hash Table

LSM
Log-Structured Merge Tree

FractalTre

查看全文: http://www.udpwork.com/item/16446.html

+0  MySQL Alter Table锁表相关的....提纲?

Tag: 数据库
Felix021 发于 2017年09月22日 00:07 | 点击: 635 | 展开摘要
(瞅一眼才发现四个月没写了,确实是好久没写代码了,没啥心得,不过想想好像可以写个提纲凑个数)

我们的业务主要还是用 MySQL 存储业务数据。

MySQL 一个很麻烦的问题是,alter table 的时候往往要锁表,而业务在最初设计的时候,又没法为未来的所有改动预留合适的字段,结果就是,要么另外建一张表横向扩展,要么熬到半夜,忍受锁表带来的业务中断;不过在多次实践中还是有一些心得体会,可以简单列一下。

1. alter table 是否都会锁表?

不都会,有些情况可

查看全文: http://www.udpwork.com/item/16428.html

+0  Cuckoo Filter:设计与实现

Tag: C/C++语言 | 数据库 | 程序设计 | 趣味问题 | Algorithm | filter | hashing | 海量数据
Leo 发于 2015年09月02日 09:18 | 点击: 1115 | 展开摘要
(感谢网友 @我的上铺叫路遥 投稿)

对于海量数据处理业务,我们通常需要一个索引数据结构,用来帮助查询,快速判断数据记录是否存在,这种数据结构通常又叫过滤器(filter)。考虑这样一个场景,上网的时候需要在浏览器上输入URL,这时浏览器需要去判断这是否一个恶意的网站,它将对本地缓存的成千上万的URL索引进行过滤,如果不存在,就放行,如果(可能)存在,则向远程服务端发起验证请求,并回馈客户端给出警告。

索引的存储又分为有序和无序,前者使用关联式容器,比如B树,后者使用哈希

查看全文: http://www.udpwork.com/item/14563.html

+0  我竟然也用到了Oracle

Tag: 数据库
郑 纪 发于 2013年08月16日 20:29 | 点击: 1296 | 展开摘要
Oracle初印象

曾经阿里的去O化搞得满城风雨,,随后很多企业也开始跟风去除Oracle,让Oracle这样的企业都为之咳嗽了一阵子。有兴趣的朋友可以看看王坚博士的文章。作为一个开源软件热爱者,首先接触到的一定是Mysql, 随后才是MongoDB,Redis,LevelDb。无论如何是怎么也想不到会去接触Oracle,就像我再也没有机会也不会去使用3.5英寸软盘的样子,因为这样会让我感觉到世界在倒退。

先知言:”存在即合理”。也就为以后的遇见埋

查看全文: http://www.udpwork.com/item/10413.html

+0  说说我们组开发的那些key-value存储吧

Tag: Linux C开发 | 互联网技术 | 数据库 | 未分类 | key val | key-value
heyue 发于 2013年08月05日 19:51 | 点击: 1188 | 展开摘要
当写下这个题目的时候,很多人会说,哎,又来key-val数据库了,市面上的key-value存储这么多了,为啥还要自己去实现一个?其实最初我也是这样想的,新浪以前不是开发过一个memcachedb么,所有产品线都用就行了呗。后来才弄清楚,原来这个世界上,到目前为止没有像mysql一样的关系数据库垄断key-val数据库是有很多原因的。

先说几个大家熟悉的key-value 解决方案吧,好对比我们的方案。

memcached

memcached不用说了吧,就是传说中的万金

查看全文: http://www.udpwork.com/item/11128.html

+0  图数据库neo4j介绍及测试(续)

Tag: 图数据库 | neo4j
光戈 发于 2013年06月28日 13:36 | 点击: 813 | 展开摘要
上次简单介绍了neo4j是什么,有什么特点,以及对neo4j常用的使用方式.

下面会介绍下neo4j的关于路径搜索的相关问题.

一,neo4j的常用路径搜索条件

1.广度优先 vs  深度优先

广度优先:是首先搜索结点的子结点,等子结点搜索完毕后,在搜索子结点的下级子结点.

2,深度优先:是尽可能深的搜索图的分支。当节点v的所有边都己被探寻过,搜索将回溯到发现节点v的那条边的起始节点。这一过程一直进行到已发现从源节点可达的所有节点为止。

说明:广度优先和深度优先都

查看全文: http://www.udpwork.com/item/10201.html

+0  图数据库neo4j介绍及测试

Tag: 图数据库 | neo4j
光戈 发于 2013年06月28日 13:35 | 点击: 858 | 展开摘要
一,neo4j介绍

Neo4j是一个用Java实现、完全兼容ACID的图形数据库。

数据以一种针对图形网络进行过优化的格式保存在磁盘上。

Neo4j的内核是一种极快的图形引擎,具有数据库产品期望的所有特性,如恢复、两阶段提交、符合XA等。

自2003年起,Neo4j就已经被作为24/7的产品使用。

neo4j中有五种主要的概念:

1,Node:neo4j中的基本结构,表示结点。结点可以有任意个Property。

2,Relation:表示两个Node的关系,这个

查看全文: http://www.udpwork.com/item/10202.html

+0  用户积分功能的设计

Tag: Architecture | 异步 | 数据库 | 用户 | 积分
四火 发于 2013年06月15日 22:58 | 点击: 1055 | 展开摘要
文章系本人原创,转载请保持完整性并注明出自《四火的唠叨》

有一个SNS应用,用户在使用的过程中积累积分,例如登陆+3点,个人空间每次浏览+1点,结交每个朋友+5点等等。同时,很重要的一点是,用户需要看到自己的积分累计有多少,能够根据积分划分用户等级,在自己的空间展示积分。

在用户量比较大的情况下(例如超过三千万),这是一个比较典型的读写都很频繁的问题,而且写入的次数可能和读取的次数差别不大(大多数SNS应用中,读次数远超写次数的场景居多,例如用户的状态信息,更新一次以后

查看全文: http://www.udpwork.com/item/10021.html

+0  数据库范式总结

Tag: Database | 数据库 | 范式
四火 发于 2013年02月12日 14:01 | 点击: 1665 | 展开摘要
文章系本人原创,转载请保持完整性并注明出自《四火的唠叨》

数据库表结构设计时,遵从一定的范式(NF,Normal Form)可以减少数据冗余和操作异常。

第一范式(1NF)

1NF指的是每个属性值都是不可再分的。

满足1NF的关系被称为规范化的关系,1NF也是关系模式应具备的最起码的条件。

比如有这样一张表user的两列:

name

phone_number

phone_number这一列只存储一个电话号码,如果一条数据同时存储了住宅电话和手机号码,比如:&

查看全文: http://www.udpwork.com/item/9240.html

+0  高性能MySQL - 1.MySQL架构

Tag: 数据库 | MySQL
youngsterxyf 发于 2012年12月11日 00:00 | 点击: 652 | 展开摘要
MySQL逻辑架构

1.
每个客户连接在服务器进程中都拥有自己的线程,每个连接所属的查询都会在指定的某个单独线程中完成,这些线程轮流运行在某个CPU核心或CPU上。服务器负责缓存线程,因此不需要为每个新的连接重建或撤销线程。

2.
MySQL会解析查询,并创建一个内部数据结构(解析树),然后对其进行各种优化。其中包括重写查询,决定查询的读表顺序,以及选择需使用的索引等。用户可以通过特殊的关键字给优化器传递各种提示,影响它的决策过程。另外还可以请求服务器给出优化过程的各种说

查看全文: http://www.udpwork.com/item/11865.html

+0  一淘网数据部数据工程-OBConnector介绍

Tag: 数据库 | OB
gang.yug 发于 2012年12月07日 19:50 | 点击: 1055 | 展开摘要
本博客会陆续更新一淘数据部 各位技术同学分享的资料。

本次分享的内容来自国相同学:

受众:

对OB和OBConnector感兴趣的同学

简介:

1.OB在销售分析中的应用

2.OBConnector提供哪些功能简化OB的使用

3.OBConnector的设计和实现

资料下载:OBConnector PDF文件

查看全文: http://www.udpwork.com/item/8814.html

+0  性能调优攻略

Tag: Unix/Linux | Windows | 操作系统 | 数据库 | 程序设计 | 系统架构 | Linux | MySQL | Performance | SQL | TCP
陈皓 发于 2012年06月20日 09:24 | 点击: 2659 | 展开摘要
关于性能优化这是一个比较大的话题,在《由12306.cn谈谈网站性能技术》中我从业务和设计上说过一些可用的技术以及那些技术的优缺点,今天,想从一些技术细节上谈谈性能优化,主要是一些代码级别的技术和方法。本文的东西是我的一些经验和知识,并不一定全对,希望大家指正和补充。

在开始这篇文章之前,大家可以移步去看一下酷壳以前发表的《代码优化概要》,这篇文章基本上告诉你——要进行优化,先得找到性能瓶颈! 但是在讲如何定位系统性能瓶劲之前,请让我讲一下系统性能的定义和测试,因为没有这两

查看全文: http://www.udpwork.com/item/7510.html
|<<<12345>>>| 一共5页, 59条记录