最新 | 最热门 | 最高评价

+0  Some hints on Dataproc

Tag: bigdata | GCP | Hive | PySpark
ROBIN DONG 发于 2021年09月03日 11:54 | 点击: 1259 | 展开摘要
When running a job in the cluster of Dataproc, it reported:

java.util.concurrent.ExecutionException: java.lang.ClassNotFoundException: Failed to find data source: BIGQUERY.

The reason is I haven’t added the Jar file for BigQuery. Af

查看全文: http://www.udpwork.com/item/18151.html

+0  一个select死锁问题

Tag: Technical | Golang
老王 发于 2021年08月29日 21:12 | 点击: 993 | 展开摘要
话说前几天我遇到了一个死锁问题,当时想了一些办法糊弄过去了,不过并没有搞明白问题的细节,周末想起来便继续研究了一下,最终便有了这篇文章。

让我们搞一段简单的代码来重现一下当时我遇到的问题:

package main

import "sync"

func main() {
var wg sync.WaitGroup
foo := make(chan int)
bar := make(chan int)
closing := make(chan struct{})

查看全文: http://www.udpwork.com/item/18152.html

+0  C++ Latch 实现

Tag: C/C++语言编程
ideawu 发于 2021年08月26日 21:10 | 点击: 1483 | 展开摘要
Latch(Binary Semaphore) 不同于信号量(Counting Semaphore), 也不同于条件变量, 它是一种合并信号成一个标记的通信方式, 可用于实现 Batch 操作. 例如, 两个线程围绕一个标记, 一个设置(生产者), 一个复位(消费者). 如果标记已设置, 则消费者立即复位然后返回. 如果标记未设置, 则消费者等待标记被设置.

在生产者消费者编程模式中, 生产者产生任务, 任务被加入队列中, 同时通过 Latch 告知消费者. 使用 Latc

查看全文: http://www.udpwork.com/item/18110.html

+0  IFITL -- 美国早期光纤接入网的牺牲品

Tag: misc
Difan Zhang 发于 2021年08月24日 16:00 | 点击: 914 | 展开摘要
IFITL: Integrated Fiber In The Loop 是 Bell South 的早期产品,大约在 2000 年左右推出,是一种 FTTC 的产品。

技术上,他是多模主动光纤从电话局 CO (Central Office) 直通到路边的信息箱的。信息箱内放置一台 10M 交换机。光口上联,从信息箱到家庭是额外单独布线的户外五类线。端口密度自然是一个光口对应最多 4 个用户。这基本上是类似于 M-Ethernet 的产品。

听起来这是没什么问题,只是端口密

查看全文: http://www.udpwork.com/item/18140.html

+0  在docker环境导入私有仓库的问题

Tag: Technical
老王 发于 2021年08月24日 15:45 | 点击: 685 | 展开摘要
最近我遇到了一个在 docker 环境导入私有仓库的问题:一个 Golang 项目,使用 gitlab ci 来发布,通过 gitlab runner 调用 docker-compose 来打包,但是在构建时失败了。

让我们重回案发现场,看看问题是怎么产生的:

首先是 .gitlab-ci.yml 文件,其相关代码片段内容如下:

build_job:
stage: build
script:
- make docker-build

然后是 Makefi

查看全文: http://www.udpwork.com/item/18131.html

+0  Mac 看图软件 Tovi 免费下载

Tag: MacOSX
ideawu 发于 2021年08月22日 10:53 | 点击: 475 | 展开摘要
我开发的 Mac 看图软件 Tovi, 支持播放 GIF 动画, 以及用箭头按键浏览上一张下一张. 支持缩放, 旋转, 导出成 mp4 视频等等. Tovi 曾经作为收费软件在苹果 App Store 上售卖, 现在, Tovi 已经免费了.

下载地址: http://tovi.ideawu.com/

Tovi 运行截图:

注意: 启动后, 请将根目录 / 添加到权限列表中(点击"+", Shift + Command + G, 然后输入 '/').

Related

查看全文: http://www.udpwork.com/item/18111.html

+0  记又一次对Makefile的重构

Tag: Technical | AWK
老王 发于 2021年08月21日 14:34 | 点击: 630 | 展开摘要
我平常有一个习惯,就是不断看以前写的代码,想着有没有哪些方面可以改进,如果每天能把代码可读性量变​ 1%,那么日积月累就是质变:前些天我们写过一次对 Makefile 的重构,去掉了一处重复代码的坏味道,没过多久我便又发现了一处重复代码的坏味道,本文就让我们看看如何消灭它!

让我们先把问题的来龙去脉搞清楚,在 Golang 项目里,一般推荐在根目录创建一个名为 tools.go 的文件,里面记录本项目依赖的相关工具,比如我的某个项目的 tools.go 如下:

// +b

查看全文: http://www.udpwork.com/item/18132.html

+0  预制件和对象集的管理

Tag: ECS | 游戏开发
云风 发于 2021年08月20日 16:23 | 点击: 389 | 展开摘要
最近在用自研引擎开发项目时,发现了一些问题。在解决问题的同时,也逐步对之前的设计做了一些调整。一开始只是一些小修复,慢慢的发展成了大规模的代码重构。

最开始源于我重新设计了 ECS 框架。在新设计下,可以用 C/Lua 混合组织数据。为未来优化热点做好准备。我们借此机会重新思考了 ECS 框架下应该如何组织代码的问题。发现一个关键点就是,要尽量去掉系统中对象之间的引用关系。每类对象最好是成组分批的处理业务,每个模块都只做最简单的事情。但同一件事情尽量处理更多的数据、对象。

查看全文: http://www.udpwork.com/item/18120.html

+0  记一次对Makefile的重构

Tag: Technical
老王 发于 2021年08月19日 15:53 | 点击: 365 | 展开摘要
如果你不了解 Makefile 的话,那么推荐看看阮一峰的文章「Make 命令教程」。本文通过一个重构的例子带你写出味道更好的 Makefile,让我们开始吧!

假设有一个名为 foo 的项目,用 golang 开发,在 docker 上部署,其 Makefile 如下:

APP = $(shell basename ${CURDIR})
TAG = $(shell git log --pretty=format:"%cd.%h" --date=short -1)

.P

查看全文: http://www.udpwork.com/item/18133.html

+0  关于OCR项目的流水账

Tag: Technical
老王 发于 2021年08月16日 16:58 | 点击: 363 | 展开摘要
最近一直在开发某个 OCR 项目:底层用的是 ABBYY 提供的 FineReader 引擎,应用层把 FineReader 包装成 gRPC 对外提供服务,因为 FineReader 项目是 C++ 实现的,而我们团队使用的编程语言是 Golang,所以二者间通过 CGO 来完成交互。整个项目没有什么特殊的需求,只是鉴于 OCR 耗时较长,为了提升产品体验,要求在处理过程中:客户端可以主动退出;服务端能够实时返回已处理百分比。下面是根据需求画出来的流程图:

流程图

看上

查看全文: http://www.udpwork.com/item/18134.html

+0  房地产投资的一些个人观点

Tag: misc | life
Difan Zhang 发于 2021年08月15日 15:00 | 点击: 324 | 展开摘要
近期美国房产行情大热,合适的房子越来越难买到。这里一下挑投资房的一些个人观点,至于是好是坏,只好过几年后再回测了。

在美国政府大放水,并且即将开始一万亿基建项目的背景之下,印钞机的速度愈来愈快,很快这些钱就会传导到股市和房市上来。

个人认为豪宅(单价售价超过 500 万美元)的市场会相对来说稳定。尽管有钱人很多,但是顶尖的市场不太容易出现踩踏,而且这部分房源相对充足,对 Santa Monica 的市场观察看来,此类住宅并不是很容易出售,待售期也相对长。

查看全文: http://www.udpwork.com/item/18141.html

+0  My summary for the paper “Unified Language Model Pre-training for Natural Language Understanding and Generation”

Tag: machine learning | study | BERT | Transformer
ROBIN DONG 发于 2021年08月10日 08:56 | 点击: 350 | 展开摘要
For NLU (Natural Language Understanding), we use the bidirectional language model (like BERT), but for NLG(Natural Language Generation), the left-to-right unidirectional language model (like GPT) is the only choice.

Could we accomplish the

查看全文: http://www.udpwork.com/item/18130.html
|<<<1234567>>>| 一共295页, 3534条记录