最新 | 最热门 | 最高评价

+0  Go编程模式:Map-Reduce

Tag: Go 语言 | 程序设计 | 编程语言 | functional | functional-programming | Go | golang | MapReduce | 函数式 | 函数式编程
陈皓 发于 2020年12月24日 15:13 | 点击: 673 | 展开摘要
在本篇文章中,我们学习一下函数式编程的中非常重要的Map、Reduce、Filter的三种操作,这三种操作可以让我们非常方便灵活地进行一些数据处理——我们的程序中大多数情况下都是在到倒腾数据,尤其对于一些需要统计的业务场景,Map/Reduce/Filter是非常通用的玩法。下面先来看几个例子:

本文是全系列中第5 / 9篇:Go编程模式
Go编程模式:切片,接口,时间和性能
Go 编程模式:错误处理
Go 编程模式:Functional Options
Go编程模式:委托

查看全文: http://www.udpwork.com/item/17491.html

+0  常见分布式基础设施系统设计图解(六):分布式 MR 系统

Tag: System and Architecture | MapReduce | 图解笔记 | 基础设施 | 系统设计
四火 发于 2020年11月03日 02:17 | 点击: 472 | 展开摘要
其实对于 MR(Map Reduce)系统来说,可能更重要的是分治和分步处理的思想,因为现在的基于 MR 的数据处理框架或者平台,在实现上数据处理往往已经和最经典的对于 MR 的理解(最早应该是来自 Google 的那篇论文)有了不少区别。当然,我还是按照之前的做法,把一个典型的 MR 系统简单图示画出来了,这个图相对比较简单。

还是老规矩,虚线表示控制流,实线表示数据流。
上半部分用户向 Master 这个 job 管理节点提交一个 job 的请求,这个请求被拆解为若干个

查看全文: http://www.udpwork.com/item/17822.html

-1  Books I read in year 2018

Tag: life | Arduino | sklearn | tensorflow
Robin Dong 发于 2018年12月20日 12:02 | 点击: 2294 | 展开摘要
In the 2018 year, I continued to learn more knowledge about machine learning and deep Learning. “Deep Learning” is pretty suitable for me and “Hands-On Machine Learning with Scikit-Learn and TensorFlow” is also a won

查看全文: http://www.udpwork.com/item/17245.html

+0  Finding core-dump file

Tag: ops | coredump
Robin Dong 发于 2018年08月31日 11:42 | 点击: 1351 | 展开摘要
In a new server, my program got ‘core dump’. But I haven’t found the core-dump file in the current directory as usual.

First I checked the ‘ulimit’ configuration:

core file size (blocks, -c) unlimite

查看全文: http://www.udpwork.com/item/17046.html

+0  React+Redux组合使用之感受

Tag: JavaScript | React | Redux
四火 发于 2017年06月11日 06:14 | 点击: 1883 | 展开摘要
最近完成了一个使用React+Redux组合的项目,以前仅仅是接触了解以及学习,并未正儿八经地使用过,因此这一次可以说是第一次完整地再一个项目当中使用。因而对于认识之浅显请轻拍。

从架构和层次的层面,这个组合给我最好的感受是干净利落的解耦。有不少JavaScript框架尝试解决解耦问题,但是到了落实的层面上很容易出现分层分模块不容易严格控制,缺少清晰标准等问题。但是React+Redux的组合没有这个问题,我们把应用中JavaScript的部分分层为action、clien

查看全文: http://www.udpwork.com/item/16299.html

+0  一些前端框架的比较(下)——Ember.js和React

Tag: JavaScript | Recommended | Ember.js | Flux | React | Redux
四火 发于 2016年12月26日 04:44 | 点击: 2185 | 展开摘要
这是前端框架比较和吐槽的第二篇。

Ember.js

Ember.js的extend的写法很类似于JQuery或者是Backbone.js,创建Application,然后在它下面创建相应的Model(Object)、Controller、Router、View和Template,这些都是非常类似的。但是它更为先进的地方在于,一些重复的样板代码,比如给template注入上下文并渲染,如果命名按照CoC的原则正确完成的话,都由框架自动完成,这就省去不少体力活。CoC还体现在

查看全文: http://www.udpwork.com/item/16035.html

+0  大陆地区的 DNS 劫持

Tag: *nix | dns | infrastucture | product
jaseywang 发于 2015年03月12日 23:45 | 点击: 2052 | 展开摘要
撇开方院士的那个不谈,这种方式在大陆的流行情况我仅仅是听说,收到过我们客服的反馈而已,至于这个具体有多么的「生动」,我还真没遇到过(正常情况下,如果你的所有的流量都走 proxy,是不会遇到那种浏览器右下角弹广告的情况的,所以建议有能力的用户不管在哪里访问网络,都请主动走 proxy)。

直到我们开始启用了某个第三方的服务监控,才发现这个比例还不小,数据还是蛮有意思的,我找了两个列子,基本上一个 nslook 就能看出问题所在了。





这事要根本解决没强大的背

查看全文: http://www.udpwork.com/item/13982.html

+0  Hadoop的Secondary Sorting

Tag: Distributed System | Hadoop | MapReduce | Secondary Sorting | 排序
四火 发于 2014年06月04日 23:31 | 点击: 2452 | 展开摘要
这几天项目中使用Hadoop遇到一个问题,对于这样key-value的数据集合:id-biz object,对id进行partition(比如根据某特定的hash算法P),分为a份;使用数量为b的reducer,在reducer里面要使用第三方组件进行批量上传;上传成文件,文件数量为c,但是有两个要求:

上述a、b、c都相等,从而使得每个partition的数据最终都通过同一个reducer上传到同一个文件中去;

每个reducer中上传的数据要求id必须有序。

最开始

查看全文: http://www.udpwork.com/item/12589.html

+0  R17新的调度策略+sub

Tag: Erlang探索 | 源码分析 | +sub | scheduler utilization
Yu Feng 发于 2014年05月18日 20:52 | 点击: 2954 | 展开摘要
原创文章,转载请注明: 转载自系统技术非业余研究

本文链接地址: R17新的调度策略+sub

R17的release note提到:

OTP-11385 A new optional scheduler utilization balancing mechanism has

been introduced. For more information see the +sub command

line argument.

查看全文: http://www.udpwork.com/item/12259.html

+0  小记备份遭遇

Tag: 工作故事 | du | tar
RobinDong 发于 2014年04月16日 14:18 | 点击: 2160 | 展开摘要
今天备份机器上的一个目录,用“du -sh .”看这个目录只占用了1.5G空间。但是,我一用tar打包,就半天停不下来,tar包都涨到十几G了还没有打包完。奇怪,哪多出来这么多东西。

查了半天,后来发现目录里有个101G的大文件,而du -sh 对这个大文件的返回结果却是”1.1M“,喔,原来这是个空洞文件,tar却只能老老实实的读数据,所以出来的tar包巨大无比。看来,备份目录前光"du -sh .“是不够的,至少还得类似"find . -size +100M"全部检查一

查看全文: http://www.udpwork.com/item/12132.html

+0  我为什么坚持写博客(续)

Tag: Engineering Education | 博客 | 坚持
四火 发于 2014年01月15日 10:03 | 点击: 1930 | 展开摘要
大概在两年前,我写过一篇文章,《我为什么坚持写博客》,随着阅历增长,想法是在不断变化的。我想在这里补充一些内容。

一个坚持更新的博客站点就是最好的名片

很多有个人独立博客的人都有这个观点,对于工程师来说尤其如此。我记得以前看过一幅漫画,工程师和HR阅读简历的价值杠杆大不相同,GitHub上丰富的记录、一个高分的stackoverflow账号,还有一个独立域名博客,这些都是具有相当加分项的部分。向别人介绍自己的时候,你甚至都不需要自己拿出名片来,不需要自己在简历里面啰啰嗦嗦

查看全文: http://www.udpwork.com/item/11585.html

+0  tpps: 一个可做cgroup资源隔离的高效IO调度器

Tag: 操作系统 | io scheduler | SSD | tpps
RobinDong 发于 2014年01月06日 15:16 | 点击: 3045 | 展开摘要
(本文里说的“资源隔离”主要是指cgroup根据blkio.weight的值来按比例调配io的带宽和IOPS,不包括io-throttle即blkio.throttle.xxx的一系列配置,因为linux的io-throttle机制不依赖于IO调度器)

由于现在的SSD越来越快也越来越便宜,如何高效的利用SSD就变得十分重要。高效利用SSD有两个办法,一个是加大应用程序发出的io深度(比如用aio),对于无法加大io深度的一些重要应用(比如mysql数据库),则可以用第二个

查看全文: http://www.udpwork.com/item/11484.html
|<<<123456>>>| 一共6页, 64条记录