最新 | 最热门 | 最高评价

+0  200行代码实现基于paxos的kv存储

Tag: algo | distributed | replication | paxos | kv | 分布式 | 存储
张炎泼(xp) 发于 2020年10月28日 08:00 | 点击: 85 | 展开摘要
前言

写完 paxos的直观解释 之后,
网友都说疗效甚好, 但是也会对这篇教程中一些环节提出疑问(有疑问说明真的看懂了

查看全文: http://www.udpwork.com/item/17478.html

+0  后分布式时代: 多数派读写的’少数派’实现

Tag: algo | distributed | quorum | majority | replication | paxos | raft | 分布式 | 多数派
张炎泼(xp) 发于 2020年10月18日 08:00 | 点击: 91 | 展开摘要
前言

paxos可以看做是2次 多数派读写 完成一次强一致读写. 多数派要求半数以上的参与者(paxos中的Acceptor)接受某笔操作. 但 多数派读写 并不一定需要多于半数的参与者, 分布式系统中某些场合的优化, 可以通过减少参与者数量来完成的.

多数派读写:分布式系统的基础

分布式系统中, 其中一个基础的问题是如何在不可靠硬件(低可用性)基础上构建可靠(高可用性)的服务,
要达成这个目标, 核心的手段就是复制(例如一份数据存3个副本).
而复制过程中的一致性

查看全文: http://www.udpwork.com/item/17479.html

+0  可靠分布式系统-paxos的直观解释

Tag: algo | distributed | consensus | fault-tolerant | quorum | replication | paxos | 分布式 | 一致性 | 容错 | 多数派
张炎泼(xp) 发于 2020年06月01日 08:00 | 点击: 83 | 展开摘要
前言

paxos是什么?

在分布式系统中保证多副本数据强一致的算法.

paxos有啥用?

没有paxos的一堆机器, 叫做分布式;

有paxos协同的一堆机器, 叫分布式系统.

Google Chubby的作者Mike Burrows说过:

这个世界上只有一种一致性算法,那就是Paxos …

其他一致性算法, 都可以看做paxos在实现中的变体和扩展.

另外一个经常被提及的分布式算法是raft, raft的贡献在于把一致性算法落地.
因为 Leslie

查看全文: http://www.udpwork.com/item/17480.html

+0  Erasure-Code-擦除码-3-极限篇

Tag: storage | ec | erasure-code | distributed | replication | 擦除码 | 纠删码 | 伽罗瓦 | | 伽罗瓦域 | GF256
张炎泼(xp) 发于 2020年02月07日 08:00 | 点击: 79 | 展开摘要
书接上回

上一篇 第二篇:实现 中, 我们介绍完了基于GF(2⁸)伽罗瓦域的标准实现以及做了正确性分析,
我们也提到:

在EC的计算中, 编解码是一个比较耗时的过程,
因此业界也在不断寻找优化的方法, 不论从理论算法上还是从计算机指令的优化上,
于是下一篇我们将介绍如何把EC实现为一个高效的实现.

本文我们来介绍, 在实际生产环境使用时还需做哪些优化,
来将EC打造成一个高效的实现.

第一篇:原理 再上一篇

查看全文: http://www.udpwork.com/item/17482.html

+0  Erasure-Code-擦除码-2-实现篇

Tag: storage | ec | erasure-code | distributed | replication | 擦除码 | 纠删码 | 伽罗瓦 | | 伽罗瓦域 | GF256
张炎泼(xp) 发于 2020年02月04日 08:00 | 点击: 81 | 展开摘要
书接上回

上一篇 第一篇:原理 中, 我们介绍了EC的基本原理,
实际上EC的存储跟恢复过程可以理解为:
一条k-1次曲线可以通过k个系数或曲线上的点来确定.

我们也提到:

但这套理论还不能直接应用到线上产品中.
因为计算机中还要考虑数字大小限制, 例如k个32位整数作为数据,
通过Vandermonde矩阵生成校验块, 那校验块的数值几乎确定会溢出.

本文我们来解决这个问题, 看如何将EC的理论应用到计算机中, 保证计算不会溢出.

第一篇:原理 上一篇

查看全文: http://www.udpwork.com/item/17483.html

+0  MySQL复制的概述、安装、故障、技巧、工具

Tag: Technical | MySQL | Replication
老王 发于 2011年04月05日 10:26 | 点击: 2476 | 展开摘要
同MongoDB,Redis这样的NoSQL数据库的复制相比,MySQL复制显得相当复杂!

概述

首先主服务器把数据变化记录到主日志,然后从服务器通过I/O线程读取主服务器上的主日志,并且把它写入到从服务器的中继日志中,接着SQL线程读取中继日志,并且在从服务器上重放,从而实现MySQL复制。具体如下图所示:

MySQL复制

整个过程反映到从服务器上,对应三套日志信息,可在从服务器上用如下命令查看:

mysql> SHOW SLAVE STATUS;

&nb

查看全文: http://www.udpwork.com/item/4733.html

+0  Solr复制bug一例:Unable to move index file from tempfile to indexfile

Tag: solr | solr replication | solr 复制
kafka0102 发于 2010年11月24日 23:37 | 点击: 2524 | 展开摘要
22日下午3时多,收到搜索系统的报警邮件,错误日志如下:

[2010-11-22 15:16:14][ERROR][pool-6-thread-1][SnapPuller.java(650)]Unable to move index file from: /indexpath/index.20101122031500/_21.frq to: /indexpath/index.20101122031000/_21.frq

SnapPuller是Solr复制用到的一个类,我

查看全文: http://www.udpwork.com/item/3566.html

+0  [Solr实践]Solr复制类ReplicationHandler使用介绍

Tag: solr | lucene | ReplicationHandler
kafka0102 发于 2010年07月24日 22:30 | 点击: 3619 | 展开摘要
solr1.4中引入ReplicationHandler代替外部脚本来复制索引数据,ReplicationHandler使得复制索引数据更自动化。对于使用者来说,只要简单的配置好,就可以一劳永逸的享受solr的复制功能了。下面介绍其使用相关内容。

1、配置

ReplicationHandler是个RequestHandler,如果需要使用它,也就是在solrconfig.xml中配置它,下面介绍ReplicationHandler的配置参数。

1.1、Master

查看全文: http://www.udpwork.com/item/2162.html

+0  Cassandra内核介绍–写操作

Tag: nosql | rowMutation | write operation | cassandra | Translation | commit log | replication placement strategy
jametong 发于 2010年05月30日 12:02 | 点击: 2385 | 展开摘要
Cassandra内核介绍–写操作

by Mike Perham Translated by Jametong

我们已经开始在OneSpot使用Cassandra来作为我们下一代的存储引擎(使用一个EC2的机器集群代替一台非常大的PostgreSQL机器),因此,之前几周的时间我一直在使用Cassandra. 由于我本人是一个基础设施方面的书呆子,并且坚信需要理解系统堆栈的各个层面,因为我阅读了部分关于Cassandra如何工作的资料,并且想写出点总结以期对后

查看全文: http://www.udpwork.com/item/1562.html

+0  数据安全,从异地备份开始

Tag: Network | Tech Notes | mysql replication | remote backup | ssl
kxn 发于 2008年11月02日 15:38 | 点击: 1891 | 展开摘要
话说我的 blog 也 down 了有数次了,每次 down 掉以后都好久起不来,其中很大程度上是 blog 的数据没有及时备份出来,用以前的备份开的话,中间的就都丢了,回头合并又是个麻烦事情。

最近有点时间,在北京机器上的 MySQL 配置了一下,让他作为从库从唐山机器的 MySQL 同步下来 blog 的数据,只要网络不是太烂,基本可以做到实时备份了。

当然,从公网上用 MySQL 复制存在各种风险,不过实际能做的事情不多,只能用 iptables 保护,只对同步机器

查看全文: http://www.udpwork.com/item/6166.html
|<<<1>>>| 一共1页, 10条记录