最新 | 最热门 | 最高评价

+0  解析一个简单的分布式事务Case

Tag: 数据库
Felix021 发于 2018年06月08日 21:41 | 点击: 808 | 展开摘要
注:这篇是3月初在公司内部平台上发布的,搬一份到 blog 存档。
===

我注意到过去几个月有些同学还在踩一个简单的分布式事务Case的坑,而这个坑我们在两年以前就已经有同学踩过了,这里简单解析一下这个case和合适的处理方案,供各位参考。

# 1. 踩过的坑

这个case有很多变种,先说说我们在 X 业务踩过的坑开始,大约是16年9月,核心业务需求是很简单的:在用户发起支付请求的时候,从用户的银行卡扣一笔钱。负责这个需求的同学是这么写的代码(去除其他业务逻辑的简化版

查看全文: http://www.udpwork.com/item/16890.html

+0  浅析嵌套数据库事务

Tag: 数据库
Felix021 发于 2018年03月29日 22:00 | 点击: 856 | 展开摘要
大家都知道,数据库事务提供的强一致性,让我们只需要在业务开始之前执行begin、结束后执行commit,并在异常的情况下执行rollback,就能够保证业务数据的强一致性。

## 1. 转一笔账

以一个转账操作为例,从from账户往to账户转一笔钱,涉及到两个账户的操作,我们用事务来保证数据的一致性:
function actionTransfer(Account $from, Account $to, int $amount)
{
   

查看全文: http://www.udpwork.com/item/16757.html

+0  机器学习时代的体验设计(下)-对创造人类行为学习系统的设计师和数据学家的启示

Tag: 设计译文 | 机器学习,体验设计,设计原则 ,设计师与数据学家协作,数据引擎,在线体验 ,离线体验,系统行为设计
UXC 发于 2018年02月11日 16:48 | 点击: 880 | 展开摘要
人与机器之间的新关系

 

在上一篇文章中,我们会发现机器学习驱动的用户体验不是线性的,也不是基于静态的业务和设计规则的。它们会根据人类行为进行演变,并通过不断变化的数据模型进行更新。每件产品或服务仿佛都有生命一般,就像如谷歌的工作人员说的那样:“ 这是一项与众不同的工程”。我认为这也是一种与众不同的设计。例如,亚马逊将Echo定义为一台“随着时间的推移不断学习和增加更多功能”的设备,这个描述突出了我们需要为学习人类行为的用户体验系统进行设计的必要性。

机器学习

查看全文: http://www.udpwork.com/item/16657.html

+0  机器学习时代的体验设计(上)-对创造人类行为学习系统的设计师和数据学家的启示

Tag: 设计译文 | 人类行为学习系统 | 机器学习,体验设计,设计原则,设计师与数据学家合作,Seamful Design,注意力经济
UXC 发于 2018年01月31日 17:52 | 点击: 905 | 展开摘要
一般来讲,数字服务的体验遵循预定义的用户旅程,具有明确的状态和动作。一直以来,设计师的工作一直是创建线性工作流,并将其转化为可以理解和不引人注目的体验。但是这种情况可能会成为过去时。

过去6个月,我一直在BBVA Data&Analytics(D&A)任职一个相当独特的职位,这是一家卓越的财务数据分析中心。我的工作是利用新兴的机器学习技术,使用户体验设计得到提升平。除此之外,我的职责是为数据科学团队带来整体的体验设计,并使其成为算法解决方案的生命周期(例如预测模型、推荐系统

查看全文: http://www.udpwork.com/item/16640.html

+0  2017升的最快的几个数据库无责任点评

Tag: 数据库 | MariaDB
Yu Feng 发于 2018年01月05日 14:57 | 点击: 1009 | 展开摘要
原创文章,转载请注明: 转载自系统技术非业余研究

本文链接地址: 2017升的最快的几个数据库无责任点评

ItPub写的文章“2017 年度 DB-Engines 数据库冠军得主:PostgreSQL 封王!”, 点击 这里 进一步阅读

升的最快的几个数据库,我简单的无责任点评:

PG数据库是很老的数据库,不过这几年冉冉升起,因为是学院派的,有很好的学术和智力的支持,一直以来在数据库的体系结构,代码的质量,创新的方向上都做的不错,借云计算的东风,特别是比如AWS对pg

查看全文: http://www.udpwork.com/item/16592.html

+0  MySQL数据库架构的演化观察

Tag: 数据库 | mysql
Yu Feng 发于 2017年12月14日 00:23 | 点击: 1301 | 展开摘要
原创文章,转载请注明: 转载自系统技术非业余研究

本文链接地址: MySQL数据库架构的演化观察

AS北京2017-余锋-MySQL数据库架构的演化观察

祝玩得开心!

Post Footer automatically generated by wp-posturl plugin for wordpress.

查看全文: http://www.udpwork.com/item/16540.html

+0  使用Go 机器学习库来进行数据分析 3 (平均感知器)

Tag: 大数据
鸟窝 发于 2017年12月07日 19:36 | 点击: 732 | 展开摘要
这一次,我们使用平均感知器(Average Perceptron)算法来预测美国国会的投票。

1984美国国会投票记录数据集

这一次,我们使用1984美国国会的投票记录来预测一下投票结果。

数据集针对不同的投票议题分为了16类, 记录了民主党和共和党议员们得投票结果。

格式如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

v16,v1,v2,v3,v4,v5,v6,v7,v8,v9,v10,v11,v12,v13,v14,v15,par

查看全文: http://www.udpwork.com/item/16527.html

+0  使用Go 机器学习库来进行数据分析 2 (决策树)

Tag: 大数据
鸟窝 发于 2017年12月07日 19:07 | 点击: 717 | 展开摘要
这篇文章, 继续使用golearn库分析鸢尾花的数据集。 这一次,我们会使用决策树和随机森林来分析。

决策树和随机森林

决策树是机器学习中最接近人类思考问题的过程的一种算法,通过若干个节点,对特征进行提问并分类(可以是二分类也可以使多分类),直至最后生成叶节点(也就是只剩下一种属性)。

每个决策树都表述了一种树型结构,它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。 当不能再进行分割或一个单

查看全文: http://www.udpwork.com/item/16528.html

+0  使用Go 机器学习库来进行数据分析 1 (kNN)

Tag: 大数据
鸟窝 发于 2017年12月07日 18:25 | 点击: 1017 | 展开摘要
这个系列的文章是介绍如何使用Go语言来进行数据分析和机器学习。

Go机器学习的库目前还不是很多,功能海没有Python的丰富,希望在未来的几年里能有更多的功能丰富库面试。

这篇文章利用golearn库, 使用kNN方法来对Iris数据集进行分析。

Iris数据集

Iris数据集也称为鸢尾花数据集,或者叫做费雪鸢尾花卉数据集或者安德森鸢尾花卉数据集。是一类多重变量分析的数据集。它最初是埃德加·安德森从加拿大加斯帕半岛上的鸢尾属花朵中提取的地理变异数据,后由罗纳德·费雪作

查看全文: http://www.udpwork.com/item/16526.html

+0  [译] Kafka 存储的工作机制

Tag: Kafka | 大数据
鸟窝 发于 2017年10月12日 19:40 | 点击: 1398 | 展开摘要
翻译自 Kafka/Confluent 公司的工程师 Travis Jeffery 的文章: How Kafka’s Storage Internals Work。

通过本文我会帮助你理解Kafka是如何存储它的数据的。
对于调优Kafka的性能以及了解broker配置实际是干什么的, 了解Kafka的存储很有用。 我受Kafka的简单性的启发, 用我所学开始实现一个Go的Kafka: jocko。

那么, Kafka存储内部是如何工作的呢?

Kafka 的存储单元是分

查看全文: http://www.udpwork.com/item/16452.html

+0  [转]KV存储的对比

Tag: 数据库
鸟窝 发于 2017年10月10日 11:39 | 点击: 1142 | 展开摘要
本文转自饿了么的高级架构师陈东明(cadem)发布于云栖社区的文章: KV存储的对比。作者还整理了另外一篇文章: 存储系统的分类,列举了常见的一些kv存储模型和实现。

最近对各种KV存储进行一个比较,从存储引擎到存储引擎的类型,到单机版的kvstore,再到分布式kvstore集群。

存储引擎的类型

类型
全称

btree

LSH
Log-Structured Hash Table

LSM
Log-Structured Merge Tree

FractalTre

查看全文: http://www.udpwork.com/item/16446.html

+0  MySQL Alter Table锁表相关的....提纲?

Tag: 数据库
Felix021 发于 2017年09月22日 00:07 | 点击: 1142 | 展开摘要
(瞅一眼才发现四个月没写了,确实是好久没写代码了,没啥心得,不过想想好像可以写个提纲凑个数)

我们的业务主要还是用 MySQL 存储业务数据。

MySQL 一个很麻烦的问题是,alter table 的时候往往要锁表,而业务在最初设计的时候,又没法为未来的所有改动预留合适的字段,结果就是,要么另外建一张表横向扩展,要么熬到半夜,忍受锁表带来的业务中断;不过在多次实践中还是有一些心得体会,可以简单列一下。

1. alter table 是否都会锁表?

不都会,有些情况可

查看全文: http://www.udpwork.com/item/16428.html
|<<<1234567>>>| 一共15页, 177条记录