最新 | 最热门 | 最高评价

+0  史上最LOW的在线DDL解决方案

Tag: Technical | MySQL | PostgreSQL
老王 发于 2016年11月23日 18:31 | 点击: 231 | 展开摘要
说起在线 DDL,最常见的操作莫过于在线加一个字段或者索引,不过如果数据量比较大的话,伴随而来的往往是长时间的等待,更要命的是系统在操作期间很可能会出现不可用的情况,所以一般只能等到凌晨操作,简直就是梦魇一般的存在。

在 PostgreSQL 中,如果注意使用方法,那么在线 DDL 并不是一个太难的事情。这里面说注意使用方法,指的是 PostgreSQL 跟其它一些数据库一样,在加字段或者索引的时候会锁住表,不过有一些技巧可以绕开此限制:

加字段:使用 ALTER TAB

查看全文: http://www.udpwork.com/item/15957.html

+0  Big transaction and MySQL replication lag

Tag: *nix | mysql
jaseywang 发于 2016年09月09日 20:33 | 点击: 339 | 展开摘要
This saturday afternoon I was on call, and got a alert, one of our production MySQL slave begin to have lag like this:



After some time reviewing the monitoring metrics, I got the big breakthrough, there existed large spike of lock stru

查看全文: http://www.udpwork.com/item/15788.html

+0  EAV or JSON

Tag: Technical | MySQL
老王 发于 2016年06月29日 20:18 | 点击: 90 | 展开摘要
MongoDB 之类的 NoSQL 之所以流行,很大程度上取决于相对自由的 schema 设计,不管数据量多大,可以随时在线上环境添加新字段来保存新数据,而这种能力恰恰是传统的关系数据库所欠缺的,不过别担心,传统关系数据库有自己的应对之道。我们今天就讨论一下其中最具代表性的两种方法,看看孰优孰劣。

在讨论前,我们不妨虚拟一个业务场景:假设我们要做一个类似汽车之家的产品库,首当其冲的是如何保存汽车的各种属性,比如说:长度、宽度、高度、GPS 导航系统、倒车影像、上坡辅助、陡坡

查看全文: http://www.udpwork.com/item/15964.html

+0  CentOS7上MySQL返回Too many connections

Tag: Linux | 我的分享 | django | mysql
Xiaoxia 发于 2015年11月03日 04:58 | 点击: 1009 | 展开摘要
被这个问题困扰了一天,今天做微信开发,流量一大,django占用CPU很大,这个比较好解决,加进程加硬件即可。然而数据库连接开始报Too many connections,查了网上一些文章,直接改/etc/my.cnf加入max-connections=3000,无果。又查,在mysql里输入set GLOBAL max-connections=3000,数值是变了,然并卵。

刚才找到一个文章,才想起原来是CentOS7的systemd限制了服务进程的NOFILE,导致每次

查看全文: http://www.udpwork.com/item/14733.html

+0  MySQL binlog查看和清理

Tag: etc | MySQL
ideawu 发于 2015年09月18日 17:08 | 点击: 808 | 展开摘要
显示 binlog 文件列表

show binary logs;

清理 binlog 文件

purge binary logs to 'mysql-bin.000001';

查看 binlog 内容

show binlog events in 'mysql-bin.000001' limit 1000, 10;

Related posts:
MySQL 数据库双主配置

MySQL 在线增加从库

Linux下编译安装Apache/Nginx/Lighttpd+P

查看全文: http://www.udpwork.com/item/14616.html

+0  记一次Auto Increment故障

Tag: Technical | MySQL
老王 发于 2015年05月30日 23:00 | 点击: 795 | 展开摘要
实际上本次故障的素材来自于朋友的朋友,虽然我并不是故障的亲身经历者,但即便只是作为旁观者,依然感觉有所收获,于是乎记录下来以馈读者。

故障的来龙去脉大致是这样的:在一个月黑风高的晚上,苦逼的程序员被一阵急促的报警短信声惊醒,原来是数据库的某个表出问题了,虽然查询操作都正常,但创建操作却都失败了,经过调试,发现原因是表被插入了一行问题数据,其自增字段的值被显式的设置为整型的最大值,导致后续缺省插入的数据不能获取到一个合法的主键值。

我们不妨创建一个测试表说明问题:

CRE

查看全文: http://www.udpwork.com/item/14249.html

+0  How We Migrate PBs Data from Beijing to Shanghai

Tag: *nix | infrastucture | mongodb | monitoring | mysql | networking | operations | redis
jaseywang 发于 2015年05月13日 00:22 | 点击: 931 | 展开摘要
We spent more than 6 months migrating our PBs data located in Beijing to Shanghai.

This slide gives you a brief introduction about how we do it.



How We Migrate PBs Data from Beijing to Shanghai from Jasey Wang

Related Posts:
Migrati

查看全文: http://www.udpwork.com/item/14202.html

+0  为什么超长列表数据的翻页技术实现复杂(二)

Tag: data | mysql | nosql
Tim 发于 2015年01月07日 18:36 | 点击: 1030 | 展开摘要
上文为什么超长列表数据的翻页技术实现复杂提到了超长列表翻页技术设计上一些问题,今天讨论下部分解决思路。

前新浪同事 @pi1ot 最近在程序员杂志发表的一篇文章《门户级UGC系统的技术进化路线》也是超长列表的一个经典案例,在正式展开思路之前,我们也不妨了解一下此文所说新浪评论系统的演进思路。

从文中看到几个版本的列表翻页实现方案

3.0版

3.0系统的缓存模块设计的比较巧妙,以显示页面为单位缓存数据,因为评论页面是依照提交时间降序排列,每新增一条新评论,所有帖子都需要

查看全文: http://www.udpwork.com/item/13737.html

+0  sed tricks

Tag: Linux | MySQL | Technology
Haidong Ji 发于 2014年12月29日 13:36 | 点击: 1034 | 展开摘要
I helped a charity to rebuild a MySQL server and to restore a database with a lot of data of longblob type in the last two days. Fortunately there was a dump backup file for the database in question.

However, tables with longblob column(s)

查看全文: http://www.udpwork.com/item/13687.html

+0  为什么超长列表数据的翻页技术实现复杂

Tag: data | mysql | nosql
Tim 发于 2014年12月04日 00:31 | 点击: 1127 | 展开摘要
今天讨论了一个传统的问题,问题本身比较简单,就是针对key-list类型的数据,如何优化方案做到性能与成本的tradeoff。Key-list在用户类型的产品中非常普遍,如一个用户的好友关系 {“uid”:{1,2,3,4,5}},表示uid包含有5个好友;一条微博下面的评论id列表{“weibo_id”: {comment_id1, comment_id2……}},一个用户发表的微博id列表等。

在list长度较少时候,我们

查看全文: http://www.udpwork.com/item/13602.html

+0  Recommended Books Reading

Tag: oracle | reading;books;performance;architecture;database;MySQL;Oracle
jametong 发于 2014年06月16日 15:55 | 点击: 1136 | 展开摘要
I. Architecuture

1. Scalable internet architecture

2. Release It!

3. Scalability Rules

4. Java Concurrency in Practise

II. Database

1. Relational Database Index Design

2. Oracle Core

3. MySQL TroubleShooting

High Performance MySQL

查看全文: http://www.udpwork.com/item/12634.html

+0  Jame’s Readings 06-29

Tag: oracle | Scalability;performance;little's law;queueing theory;mysql;fault tolerance;
jametong 发于 2014年06月09日 16:11 | 点击: 1377 | 展开摘要
Monitoring:

http://t.cn/Rvqir6J Anomaly Detection Fault Tolerance Anticipation Patterns, 异常检测与容错 By John Allspaws,在我眼中,他对运维的思考是最深入的。

http://t.cn/RvqxX2V 基于holt-winters指数移动平均算法做系统的异常检测.

http://t.cn/RvqxcFM 使用指数移动平均来做时间序列数据的平滑化处理。

http

查看全文: http://www.udpwork.com/item/12611.html
|<<<1234567>>>| 一共9页, 107条记录