最新 | 最热门 | 最高评价

+0  200行代码实现基于paxos的kv存储

Tag: algo | distributed | replication | paxos | kv | 分布式 | 存储
张炎泼(xp) 发于 2020年10月28日 08:00 | 点击: 83 | 展开摘要
前言

写完 paxos的直观解释 之后,
网友都说疗效甚好, 但是也会对这篇教程中一些环节提出疑问(有疑问说明真的看懂了

查看全文: http://www.udpwork.com/item/17478.html

+0  AWS EBS服务QoS浅析

Tag: 公有云 | AWS | EBS | 存储
Hao Luo 发于 2016年01月17日 13:28 | 点击: 1590 | 展开摘要
EBS支持通用型和Provisioned IOPS型

对于1000G以下的通用卷,最大iops不超过3000;

对于1000G以上的通用卷,最大iops不超过10000;

对于provisioned iops卷,保证iops为卷大小每G乘以30, 比如100G, 那么iops保障为3000, 但是provisioned iops卷最大能力不超过20000 iops;

最新的c4和m4实例支持EBS优化,最大(c4.8xlarge, m4.10xlarge)能提供

查看全文: http://www.udpwork.com/item/15133.html

+0  利用iSCSI让容器使用另外一台主机的磁盘

Tag: 未分类 | Docker | 存储
hisen 发于 2015年03月19日 04:47 | 点击: 5476 | 展开摘要
声明:

本博客欢迎转发,但请保留原作者信息!

博客地址:http://www.51gocloud.com

新浪微博:@practistar

目标:两台host主机透过一个网络接口共享磁盘设备(iSCSI)

共享设备的主机和名字

target(/dev/loop8) —> initiator(/dev/sdb) —> initiator_docker(dev/sdb_test)

note:防火墙和selinux,本次

查看全文: http://www.udpwork.com/item/14002.html

+0  利用NFS让容器访问另外一台主机的目录和文件

Tag: Docker | 存储
hisen 发于 2015年03月19日 04:38 | 点击: 5140 | 展开摘要
声明:

本博客欢迎转发,但请保留原作者信息!

博客地址:http://www.51gocloud.com

新浪微博:@practistar

目标:

配置 NFS server,通过网络共享目录给client中运行的docker容器

测试在docker容器中操作NFS server的共享目录

注意: 防火墙和selinux

NFS服务和RPC简单介绍

NFS 是Network File System的缩写,即网络文件系统。

基本功能:通过网络让不

查看全文: http://www.udpwork.com/item/14003.html

+0  基于华为对象存储的docker私有仓库

Tag: Docker | docker-registry,huawei对象存储,mos | docker私有仓库
Fangfenghua 发于 2015年03月11日 06:08 | 点击: 1419 | 展开摘要
声明:

本博客欢迎转发,但请保留原作者信息!

博客地址:http://openstack.wiaapp.cn

新浪微博:@方锋华

对于为什么要构建私有仓库的一些思考

既然docker已提供了docker-hub来供大家来存放镜像,那么为什么还需要搭建私有仓库呢?个人认为基于以下几个原因去构建私有仓库:

可以在无法访问Internet的时候在方便在组织内部共享镜像;

存放与业务紧密相关的docker 镜像;

采用可靠稳定的后端存储来存放镜像;

提高docke

查看全文: http://www.udpwork.com/item/13973.html

+0  Xen块协议的一些问题

Tag: 虚拟化 | Xen | 存储
Peter.Wang 发于 2015年03月07日 17:08 | 点击: 1383 | 展开摘要
早些时候,Xen Linux的维护者Konrad Rzeszutek Wilk提出了一些针对PV块协议的优化,可用于减少guest的虚拟磁盘开销。

以下内容主要参考、翻译自:a list of possible improvements to the Xen PV block protocol

块协议里有一些明显的问题:

假设guest和host都是64位的。

1、Segment最多有11个页。也就是说,一个请求里最多容纳44kB的数据。一个环可以放32个请求,算下来

查看全文: http://www.udpwork.com/item/13948.html

+0  Xen PV disk间接描述符

Tag: 虚拟化 | Xen | 存储
Peter.Wang 发于 2015年03月07日 16:52 | 点击: 1465 | 展开摘要
早期的Xen利用“环”来做guest和driver domain之间的IO交换,由于设计限制,一次处理的最大IO为1408K,所以在处理大IO时,成为性能瓶颈。为了解决这个问题,Xen社区借鉴VirtIO的实现方式,提出了Indirect Descriptors这个概念。

以下内容参考和翻译自:Indirect descriptors for Xen PV disks

Xen PV disk协议

Xen PV disk协议非常简单,它只需要在guest和driver d

查看全文: http://www.udpwork.com/item/13949.html

+0  Docker存储驱动浅析

Tag: Docker | 存储
hisen 发于 2015年03月07日 04:05 | 点击: 1647 | 展开摘要
目的

理解docker的存储方式

docker的image和container在host上的目录结构

docker image和container的内容与配置不同存储

Docker是一个开源的应用容器引擎,主要利用Linux内核namespace实现沙盒隔离,用Cgroup实现资源限制。Docker用于统一开发和部署的轻量级 Linux 容器,试图解决“依赖地狱”问题,把依赖的服务和组件组合起来,类似船舶使用的集装箱,达到快速安装部署。

1. Docker

查看全文: http://www.udpwork.com/item/13943.html

+0  HBase在单Column和多Column情况下批量Put的性能对比分析

Tag: NoSQL存储 | column | HBase
原 攀峰 发于 2014年01月17日 19:12 | 点击: 2359 | 展开摘要
针对HBase在单column family单column qualifier和单column family多column qualifier两种场景下,分别批量Put写入时的性能对比情况,下面是结合HBase的源码来简单分析解释这一现象。

1. 测试结果

在客户端批量写入时,单列族单列模式和单列族多列模式的TPS和RPC次数相差很大,以客户端10个线程,开启WAL的两种模式下的测试数据为例,

单列族单列模式下,TPS能够达到12403.87,实际RPC次数为53次;

查看全文: http://www.udpwork.com/item/11580.html

+0  HBase一次慢查询请求的问题排查与解决过程

Tag: NoSQL存储 | Compact | HBase
原 攀峰 发于 2014年01月13日 17:07 | 点击: 2618 | 展开摘要
以下是我们对HBase集群一次慢查询请求问题的排查解决过程。

1. 发现问题

项目中有一张HBase表,每天凌晨以后会集中批量导入一批数据,导入数据量很大,在千万到亿的量级,然后白天为用户提供查询服务。某天突然发现, 该表按照各个region(共计256个)分别仅顺序scan少数几条数据时,部分region的查询请求的响应时间很慢,长达10秒甚至几十秒不等。

2. 排查问题

首先,通过查看HBase的region server监控界面,看到这张表的每个region下面

查看全文: http://www.udpwork.com/item/11525.html

+0  flashcache支持资源隔离的改造

Tag: 存储系统 | cgroup | flashcache | quota
RobinDong 发于 2013年12月13日 17:17 | 点击: 2143 | 展开摘要
去年年底的时候对flashcache做了一番研究,并进行了改造,所谓改造,其实就是希望它能支持cgroup,也就是说,当有在不同cgroup里运行的进程对flashcache进行读写时,flashcache能根据cgroup的不同权重分配这些进程以不同的iops(IO per second)。详细的资料在这里:《flashcache原理及改造》

事情还没有结束,现在能给flashcache设备设io-scheduler了,设成cfq就可以按cgroup weight来分配i

查看全文: http://www.udpwork.com/item/11317.html

+0  Unison+云存储搞定数据备份

Tag: 技术 | unison | 云存储 | 备份
boh.ricky 发于 2013年10月14日 22:23 | 点击: 1443 | 展开摘要
总有一些数据是需要看重的,保护的,珍惜的。比如旅行中记录的风景,记录的流年,记录的欢颜,珍藏的片子。不要等到丢失时,才感叹“曾经。。。”。按照通常的说法,充分的容灾需要三个备份,而且需要跨城域备份。因此,我采用了如上图这样一个备份模式。

将笔记本A和笔记本B的重要资料通过Unison自动同步,同时将笔记本A的重要资料往云上同步。

云存储可选:

百度云存储,微软skydrive,金山网盘,京东网盘。。。

unison类似的选择也很多。这里就不再多叙述了。

如果有些数据

查看全文: http://www.udpwork.com/item/10951.html
|<<<1234567>>>| 一共7页, 77条记录