最新 | 最热门 | 最高评价
^..^

+0  AI开放平台介绍&AI模型性能调优纪要

Tag: 人工智能 | AI平台 | AI模型 | 模型调优
Gauin 发于 2020年08月26日 10:14 | 点击: 456 | 展开摘要
文-李红涛

1. 背景说明

AI在业务层由各种各样的模型发挥着神奇的价值。开发者一般基于TensorFlow、paddlepaddle等深度学习平台进行AI模型训练；

AI开发平台，一般为这些深度学习平台下的子产品，提供机器学习能力，解决一站式模型开发、生产预测的平台；

 

一般AI开发平台包括如下能力：

数据能力：数据获取、数据预处理（ETL）、数据集管理、数据标注、数据增强…

模型能力：模型管理、模型训练、模型验证、模型部署、模型处理、模型详情…

查看全文: http://www.udpwork.com/item/18011.html
^..^

+0  与程序员相关的CPU缓存知识

Tag: 程序设计 | 编程语言 | cache | CPU | 性能调优
陈皓 发于 2020年03月01日 19:43 | 点击: 611 | 展开摘要
好久没有写一些微观方面的文章了，今天写一篇关于CPU Cache相关的文章，这篇文章比较长，主要分成这么几个部分：基础知识、缓存的命中、缓存的一致性、相关的代码示例和延伸阅读。其中会讲述一些多核 CPU 的系统架构以及其原理，包括对程序性能上的影响，以及在进行并发编程的时候需要注意到的一些问题。这篇文章我会尽量地写简单和通俗易懂一些，主要是讲清楚相关的原理和问题，而对于一些细节和延伸阅读我会在文章最后会给出相关的资源。

因为无论你写什么样的代码都会交给CPU来执行，所以，如

查看全文: http://www.udpwork.com/item/17499.html
---

+0  Erlang内存体系调优

Tag: Erlang探索 | 调优 | memory | tuning | VM
Yu Feng 发于 2014年04月28日 11:31 | 点击: 2721 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: Erlang内存体系调优

Lukas Larsson，核心的VM开发者，最近很活跃，在Erlang内存体系上做了不少工作，包括recon项目的贡献。

他最近在erlang factory会议上分享了“Memory Allocators in the VM, Memory Management: Battle Storie”， 参见这里。

Erlang内存体系架构是个复杂的体系，一般的开发人员能难一眼就能

查看全文: http://www.udpwork.com/item/12187.html
^..^

+0  量化Erlang进程调度的代价

Tag: Erlang探索 | 源码分析 | 调优 | context_switches | schedule
Yu Feng 发于 2013年11月14日 13:36 | 点击: 1828 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: 量化Erlang进程调度的代价

我们都知道erlang的基本哲学之一就是“小消息大计算”，简单的说就是尽可能的在消息里面携带完整的计算需要的信息，然后计算要尽可能的多，最好远超过消息传递的代价。但是为什么要这样呢？erlang消息发送的效率是很高的, 参见这篇文章

Roughly speaking, I’m seeing 3.4 million deliveries per second one-way,

查看全文: http://www.udpwork.com/item/11357.html
---

+0  Erlang 网络密集型服务器的瓶颈和解决思路

Tag: Erlang探索 | 源码分析 | 网络编程 | 调优 | migrated | system_info(scheduling_statistics) | total_scheduling_statistics
Yu Feng 发于 2013年11月11日 14:35 | 点击: 1950 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: Erlang 网络密集型服务器的瓶颈和解决思路

最近我们的Erlang IO密集型的服务器程序要做细致的性能提升，从每秒40万包处理提升到60万目标，需要对进程和IO调度器的原理很熟悉，并且对行为进行微调，花了不少时间参阅了相关的文档和代码。

其中最有价值的二篇文章是：

1. Characterizing the Scalability of Erlang VM on Many-core Process

查看全文: http://www.udpwork.com/item/11358.html
---

+0  Erlang取当前时间的瓶颈以及解决方案

Tag: Erlang探索 | 源码分析 | 调优 | erlang:now | lcnt | os:timestamp | rebar
Yu Feng 发于 2013年11月04日 17:36 | 点击: 1939 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: Erlang取当前时间的瓶颈以及解决方案

高性能网络服务器通常会涉及大量和时间相关的场景和操作，比如定时器，读取事件的发生时间，日志等等。

erlang提供了二种方式来获取时间：

1. erlang:now()

2. os:timestamp()

获取取到时间后，我们通常用calendar:now_to_universal_time来格式化类似”{{2013,11,4},{8,46,2

查看全文: http://www.udpwork.com/item/11360.html
^..^

+0  inet驱动新增加{active,N} socket选项

Tag: Erlang探索 | 源码分析 | 调优 | active | gen_tcp | inet:setopts | N}
Yu Feng 发于 2013年11月03日 21:41 | 点击: 1745 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: inet驱动新增加{active,N} socket选项

Erlang实现的网络服务器性能是非常高的，一个典型的服务器比如proxy我们可以处理40万个包的进出，链接数在万级别的。当然这么高的网络能力和底层的epoll实现有很大关系。那么通常我们的gen_tcp收到内核协议栈过来完整的封包的时候，有三种方式可以通知到我们，参见inet:setopts文档

{active, true | false | o

查看全文: http://www.udpwork.com/item/11361.html
---

+0  Erlang调度器的利用率调查

Tag: Erlang探索 | 生活 | 调优 | scheduler_wall_time | statistics
Yu Feng 发于 2013年11月03日 20:48 | 点击: 2077 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: Erlang调度器的利用率调查

Erlang的调度器效率非常高，大概在128核的情况下有80%的利用率，即使是这样，由于CPU和内存体系的结构的限制，调度器的实现还是有大量的锁存在。erts的实现为了避免core scale的问题，通常不会采用锁在那里傻等，而是采用更乐观的无锁算法，这样会有不少的CPU空转现象。

那么如何评估调度器的效率呢？我们可以从系统层面，比如从top看，每个调度器线程忙不忙。但是这

查看全文: http://www.udpwork.com/item/11362.html
---

+0  R16B03新增加super carrier来减少mmap的系统调用

Tag: Erlang探索 | 源码分析 | 调优 | +MMscrpm | +MMscs | super carrier
Yu Feng 发于 2013年11月03日 20:01 | 点击: 1824 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: R16B03新增加super carrier来减少mmap的系统调用

Erlang内存分配的框架一句话总结，从erts_alloc文档摘抄如下：

erts_alloc is an Erlang Run-Time System internal memory allocator library. erts_alloc provides the Erlang Run-Time System with a nu

查看全文: http://www.udpwork.com/item/11363.html
---

+0  R16B port并行机制详解

Tag: Erlang探索 | 源码分析 | 调优 | +spp | parallelism | port | watermark
Yu Feng 发于 2013年10月20日 16:08 | 点击: 2083 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: R16B port并行机制详解

R16B发布的时候，其中一个很大的亮点就是R16B port并行机制, 摘抄官方的release note如下：

– Latency of signals sent from processes to ports — Signals

from processes to ports where previously always delivered

查看全文: http://www.udpwork.com/item/10980.html
^..^

+0  Erlang vheap刨析和注意事项

Tag: Erlang探索 | 源码分析 | 调优 | hmbs | min_bin_vheap_size | vheap
Yu Feng 发于 2013年10月19日 22:39 | 点击: 2070 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: Erlang vheap刨析和注意事项

Erlang从R13B03开始引入了vheap的概念，具体参见这篇文章：R13B03 binary vheap有助减少binary内存压力

官方的release note里面简单的解释了下：

OTP-8202 A new garbage collecting strategy for binaries which is more

aggressive than

查看全文: http://www.udpwork.com/item/10978.html
---

+0  调查使用binary最多TOPN进程

Tag: Erlang探索 | 源码分析 | 调优 | binary | process_info
Yu Feng 发于 2013年10月15日 21:23 | 点击: 2001 | 展开摘要
原创文章，转载请注明： 转载自系统技术非业余研究

本文链接地址: 调查使用binary最多TOPN进程

Erlang程序是非常健壮的，通常一个典型的虚拟机里面跑很多进程，这些进程即使有bug，按照erlang的哲学是快速死掉，系统留下异常堆栈，很容易发现问题。照理说erlang是很少crash的，但实际情况不是这样的。

在erlang VM crash的案例中，我们会发现大部分的网络服务器的原因都是binary内存不够申请不出来，所以内存短缺是最致命的影响稳定的因素。

查看全文: http://www.udpwork.com/item/10964.html
|<<<12345>>>| 一共5页, 58条记录