最新 | 最热门 | 最高评价
^..^

+0  Go编程模式：Map-Reduce

Tag: Go 语言 | 程序设计 | 编程语言 | functional | functional-programming | Go | golang | MapReduce | 函数式 | 函数式编程
陈皓 发于 2020年12月24日 15:13 | 点击: 673 | 展开摘要
在本篇文章中，我们学习一下函数式编程的中非常重要的Map、Reduce、Filter的三种操作，这三种操作可以让我们非常方便灵活地进行一些数据处理——我们的程序中大多数情况下都是在到倒腾数据，尤其对于一些需要统计的业务场景，Map/Reduce/Filter是非常通用的玩法。下面先来看几个例子：

本文是全系列中第5 / 9篇：Go编程模式
Go编程模式：切片，接口，时间和性能
Go 编程模式：错误处理
Go 编程模式：Functional Options
Go编程模式：委托

查看全文: http://www.udpwork.com/item/17491.html
---

+0  常见分布式基础设施系统设计图解（六）：分布式 MR 系统

Tag: System and Architecture | MapReduce | 图解笔记 | 基础设施 | 系统设计
四火 发于 2020年11月03日 02:17 | 点击: 472 | 展开摘要
其实对于 MR（Map Reduce）系统来说，可能更重要的是分治和分步处理的思想，因为现在的基于 MR 的数据处理框架或者平台，在实现上数据处理往往已经和最经典的对于 MR 的理解（最早应该是来自 Google 的那篇论文）有了不少区别。当然，我还是按照之前的做法，把一个典型的 MR 系统简单图示画出来了，这个图相对比较简单。

还是老规矩，虚线表示控制流，实线表示数据流。
上半部分用户向 Master 这个 job 管理节点提交一个 job 的请求，这个请求被拆解为若干个

查看全文: http://www.udpwork.com/item/17822.html
1

-1  Books I read in year 2018

Tag: life | Arduino | sklearn | tensorflow
Robin Dong 发于 2018年12月20日 12:02 | 点击: 2294 | 展开摘要
In the 2018 year, I continued to learn more knowledge about machine learning and deep Learning. “Deep Learning” is pretty suitable for me and “Hands-On Machine Learning with Scikit-Learn and TensorFlow” is also a won

查看全文: http://www.udpwork.com/item/17245.html
---

+0  Finding core-dump file

Tag: ops | coredump
Robin Dong 发于 2018年08月31日 11:42 | 点击: 1351 | 展开摘要
In a new server, my program got ‘core dump’. But I haven’t found the core-dump file in the current directory as usual.

First I checked the ‘ulimit’ configuration:

core file size (blocks, -c) unlimite

查看全文: http://www.udpwork.com/item/17046.html
^..^

+0  React+Redux组合使用之感受

Tag: JavaScript | React | Redux
四火 发于 2017年06月11日 06:14 | 点击: 1883 | 展开摘要
最近完成了一个使用React+Redux组合的项目，以前仅仅是接触了解以及学习，并未正儿八经地使用过，因此这一次可以说是第一次完整地再一个项目当中使用。因而对于认识之浅显请轻拍。

从架构和层次的层面，这个组合给我最好的感受是干净利落的解耦。有不少JavaScript框架尝试解决解耦问题，但是到了落实的层面上很容易出现分层分模块不容易严格控制，缺少清晰标准等问题。但是React+Redux的组合没有这个问题，我们把应用中JavaScript的部分分层为action、clien

查看全文: http://www.udpwork.com/item/16299.html
^..^

+0  一些前端框架的比较（下）——Ember.js和React

Tag: JavaScript | Recommended | Ember.js | Flux | React | Redux
四火 发于 2016年12月26日 04:44 | 点击: 2185 | 展开摘要
这是前端框架比较和吐槽的第二篇。

Ember.js

Ember.js的extend的写法很类似于JQuery或者是Backbone.js，创建Application，然后在它下面创建相应的Model（Object）、Controller、Router、View和Template，这些都是非常类似的。但是它更为先进的地方在于，一些重复的样板代码，比如给template注入上下文并渲染，如果命名按照CoC的原则正确完成的话，都由框架自动完成，这就省去不少体力活。CoC还体现在

查看全文: http://www.udpwork.com/item/16035.html
^..^

+0  大陆地区的 DNS 劫持

Tag: *nix | dns | infrastucture | product
jaseywang 发于 2015年03月12日 23:45 | 点击: 2052 | 展开摘要
撇开方院士的那个不谈，这种方式在大陆的流行情况我仅仅是听说，收到过我们客服的反馈而已，至于这个具体有多么的「生动」，我还真没遇到过(正常情况下，如果你的所有的流量都走 proxy，是不会遇到那种浏览器右下角弹广告的情况的，所以建议有能力的用户不管在哪里访问网络，都请主动走 proxy)。

直到我们开始启用了某个第三方的服务监控，才发现这个比例还不小，数据还是蛮有意思的，我找了两个列子，基本上一个 nslook 就能看出问题所在了。





这事要根本解决没强大的背

查看全文: http://www.udpwork.com/item/13982.html
---

+0  Hadoop的Secondary Sorting

Tag: Distributed System | Hadoop | MapReduce | Secondary Sorting | 排序
四火 发于 2014年06月04日 23:31 | 点击: 2452 | 展开摘要
这几天项目中使用Hadoop遇到一个问题，对于这样key-value的数据集合：id-biz object，对id进行partition（比如根据某特定的hash算法P），分为a份；使用数量为b的reducer，在reducer里面要使用第三方组件进行批量上传；上传成文件，文件数量为c，但是有两个要求：

上述a、b、c都相等，从而使得每个partition的数据最终都通过同一个reducer上传到同一个文件中去；

每个reducer中上传的数据要求id必须有序。

最开始

查看全文: http://www.udpwork.com/item/12589.html
---

+0  R17新的调度策略+sub

Tag: Erlang探索 | 源码分析 | +sub | scheduler utilization
Yu Feng 发于 2014年05月18日 20:52 | 点击: 2954 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: R17新的调度策略+sub

R17的release note提到：

OTP-11385 A new optional scheduler utilization balancing mechanism has

been introduced. For more information see the +sub command

line argument.

查看全文: http://www.udpwork.com/item/12259.html
---

+0  小记备份遭遇

Tag: 工作故事 | du | tar
RobinDong 发于 2014年04月16日 14:18 | 点击: 2160 | 展开摘要
今天备份机器上的一个目录，用“du -sh .”看这个目录只占用了1.5G空间。但是，我一用tar打包，就半天停不下来，tar包都涨到十几G了还没有打包完。奇怪，哪多出来这么多东西。

查了半天，后来发现目录里有个101G的大文件，而du -sh 对这个大文件的返回结果却是”1.1M“，喔，原来这是个空洞文件，tar却只能老老实实的读数据，所以出来的tar包巨大无比。看来，备份目录前光"du -sh .“是不够的，至少还得类似"find . -size +100M"全部检查一

查看全文: http://www.udpwork.com/item/12132.html
---

+0  我为什么坚持写博客（续）

Tag: Engineering Education | 博客 | 坚持
四火 发于 2014年01月15日 10:03 | 点击: 1930 | 展开摘要
大概在两年前，我写过一篇文章，《我为什么坚持写博客》，随着阅历增长，想法是在不断变化的。我想在这里补充一些内容。

一个坚持更新的博客站点就是最好的名片

很多有个人独立博客的人都有这个观点，对于工程师来说尤其如此。我记得以前看过一幅漫画，工程师和HR阅读简历的价值杠杆大不相同，GitHub上丰富的记录、一个高分的stackoverflow账号，还有一个独立域名博客，这些都是具有相当加分项的部分。向别人介绍自己的时候，你甚至都不需要自己拿出名片来，不需要自己在简历里面啰啰嗦嗦

查看全文: http://www.udpwork.com/item/11585.html
^..^

+0  tpps: 一个可做cgroup资源隔离的高效IO调度器

Tag: 操作系统 | io scheduler | SSD | tpps
RobinDong 发于 2014年01月06日 15:16 | 点击: 3045 | 展开摘要
（本文里说的“资源隔离”主要是指cgroup根据blkio.weight的值来按比例调配io的带宽和IOPS，不包括io-throttle即blkio.throttle.xxx的一系列配置，因为linux的io-throttle机制不依赖于IO调度器）

由于现在的SSD越来越快也越来越便宜，如何高效的利用SSD就变得十分重要。高效利用SSD有两个办法，一个是加大应用程序发出的io深度（比如用aio），对于无法加大io深度的一些重要应用（比如mysql数据库），则可以用第二个

查看全文: http://www.udpwork.com/item/11484.html
|<<<123456>>>| 一共6页, 64条记录