IT牛人博客聚合

不论是推荐系统，还是搜索引擎，都经常需要比较两个项目之间的相似度。常见的思想是将项目的特征的权值表示为N维空间向量，然后利用代数方法，对两个空间向量之间的距离、夹角等进行度量，从而表示相似度。常用的相似度计算方法有如下几种：

1.1 欧氏距离

欧氏距离的计算中将空间向量看成是N维空间上的两个点，通过空间上两点之间的距离表示两个项目之间的联系。欧氏距离一般只用于简单的比较，并不能将值域投影到某一特定范围。

1.2 余弦相似度

余弦相似度通过计算两个空间向量之间的夹角余弦来定义相似度，当用户未对该项评分时，认为该维的分量为0。余弦相似度计算时可先求出该项目的单位向量，继而只需要计算两个单位向量的内积即可得到其夹角余弦，减少计算量

查看全文: http://www.udpwork.com/item/3907.html

simhash是个很常用的计算文本相似度的算法，网上一般说用64bit的签名，这里采用times33作为普通hash函数，用32bit的签名，算法如下：

#!/usr/bin/env perl
#
sub hash {
my ($input) = @_;
my @chars = split "", $input;
my $hash = 5381;
foreach(@chars){
$hash = $hash + ord($_) * 33;
}
$hash;
}

sub simhash {
my @tokens = @_;
my @simhash =

查看全文: http://www.udpwork.com/item/3073.html

下面是一个日本程序员制做的一个可视化的排序过程，包括了各种经典的排序算法，你可以调整速度和需要排序的个数。酷壳以前也介绍过几篇相关的文章 一个排序算法比较的网站，一个显示排序过程的Python脚本 关于各种排序算法的运行复杂度比较，请参看Wikipedia的排序算法比较。

相关文章
2010年07月12日 -- 一些重要的算法
2009年04月15日 -- 一个显示排序过程的Python脚本
2009年04月10日 -- 一个排序算法比较的网站
2011年04月06日 -- 一些有意思的文章和资源
2011年03月04日 -- 一些有意思的贴子和工具
2011年02月28日 -- 打印质数的各种算法
2010年07月26日 --

查看全文: http://www.udpwork.com/item/4543.html

还记得之前发布过的那个关于可视化排序的文章吗？在网上又看到了一个旧金山大学David Galles做的各种可视化的数据结构和基本算法的主页，网址在这里，大家可以看看。我把这个页面的目录列在下面并翻译了一下，大家可以直接点击了。

不知道国内的教育有没有相关的教学课件，至少在我大学的时候是没有的。

基础

Stack栈: 数组实现

Stack栈: 链表实现

Queues队列: 数组实现

Queues队列: 链表实现

Lists列表: 数组实现 ( java 版演示)

Lists列表: 链表实现 ( java 版演示)

索引

Binary Search Trees 二叉检索树

AVL Trees (平衡二叉检索树)

查看全文: http://www.udpwork.com/item/4990.html

多线程队列（Concurrent Queue）的使用场合非常多，高性能服务器中的消息队列，并行算法中的Work Stealing等都离不开它。对于一个队列来说有两个最主要的动作：添加（enqueue）和删除（dequeue）节点。在一个（或多个）线程在对一个队列进行enqueue操作的同时可能会有一个（或多个）线程对这个队列进行dequeue操作。因为enqueue和dequeue都是对同一个队列里的节点进行操作，为了保证线程安全，一般在实现中都会在队列的结构体中加入一个队列锁（典型的如pthread_mutex_t q_lock），在进行enqueue和dequeue时都会先锁住这个锁以锁住整个队列然后再进行相关的操作。这样的设计

查看全文: http://www.udpwork.com/item/3160.html

1.   Hellow hadoop~~!

Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。

说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集群往往都是由一些平民计算机组成，没事儿罢个工什么的，实在是再寻常不过的事情。

而说其简单，则是因为，上面说到的那些，你通通不用管，你所需要做的，就是写一个程序，当然也可以是脚本，从标准输入读入一条数据，处理完之后，把结果输出到标准输出。

查看全文: http://www.udpwork.com/item/4938.html

昨天读到了 Bitcoin 的中文介绍，觉得非常有意思。不过上面这篇文章解释的非常不靠谱，我花了一晚上去Bitcoin的官方网站 仔细研究了一下，总算理解了其原理。感觉非常有启发，尤其是对虚拟货币的流通和发行有许多借鉴意义。今天写这篇 Blog 理一下。

什么是货币呢？货币就是商品(包括服务)交换的媒介。现在我们通行的货币是由有信誉的银行发行的，基本上是由其信誉来担保的。只要用的人都认可，那么我们就可以用它来交易。货币有一定的保值特性，我把我的劳动/服务/所有的商品换成货币后，银行担保我在日后的某一天，我还可以用它交换会差不多等值的东西。这个保证的前提是，银行不会滥发新的货币以及大家都信任这一点。

以前，我们用贵金属做货币。因为

查看全文: http://www.udpwork.com/item/5062.html

    数学之美不但体现在漂亮的结论和精妙的证明上，那些尚未解决的数学问题也有让人神魂颠倒的魅力。和 Goldbach 猜想、 Riemann 假设不同，有些悬而未解的问题趣味性很强，“数学性”非常弱，乍看上去并没有触及深刻的数学理论，似乎是一道可以被瞬间秒杀的数学趣题，让数学爱好者们“不找到一个巧解就不爽”；但令人称奇的是，它们的困难程度却不亚于那些著名的数学猜想，这或许比各个领域中艰深的数学难题更折磨人吧。

    作为一本数学趣题集， Mathematical Puzzles 一书中竟把仍未解决的数学趣题单独列为一章，可见这些问题有多么令人着迷。

查看全文: http://www.udpwork.com/item/3986.html

原创文章，转载请注明： 转载自Erlang非业余研究

本文链接地址: Snappy(Google家用的快速压缩算法，以前的Zippy）

刚刚雕梁同学告诉我google刚刚开源了他自己家用的快速压缩算法，AKA Zippy, 看来下貌似不错。

项目主页： http://code.google.com/p/snappy/

Snappy is a compression/decompression library. It does not aim for maximum compression, or compatibility with any other compression library; instead, it aim

查看全文: http://www.udpwork.com/item/4578.html

[摘 要] 本文通过工业界世界级人脸测试，说明人脸识别发展现状，分别从二维、三维角度，阐述了人脸识别算法现状，并对人脸识别算法发展趋势予以说明。
[关键词] 人脸识别 二维识别算法 三维识别算法

一、引言

1.人脸识别概述。人脸识别由于可接受性好，在生物识别领域得到较快的发展。人脸识别的研究范围广义上来讲大致包括以下五个方面的内容：人脸定位和检测、人脸表征（人脸特征抽取）、人脸鉴别、表情/姿态分析、生理分类五方面内容。
2.人脸识别现状。目前有世界级的人脸检测算法测试项目，它的结论完全可以揭示人脸识别现状。最早是1993年，美国国防部高级研究项目署和美国陆军研究实验室FERET项目组，建立了FERE

查看全文: http://www.udpwork.com/item/3965.html

本站很少转载文章，这是第一篇。题目出的真是太牛了，让我不得不佩服。理科生们，共勉！文科生们，也共勉吧。
1，以下谁是二进制思想的最早提出者？
a，伏羲；b，姬昌；c，莱布尼茨；d，柏拉图。
2，以下哪个概念和公孙龙的《指物论》中的“指”字含义相近？
a，变量；b，数组；c，对象；d，指针。
3，蔺相如，司马相如；魏无忌，长孙无忌。下列哪一组对应关系与此类似？
a，PHP，Python；b，JSP，servlet；c，java，javascript；d，C，C++。
4，秦始皇吞并六国采用了以下哪种算法思想？
a，递归；b，分治；c，迭代；d，模拟。
5，雅典王子忒修斯勇闯克里特岛斩杀米诺牛的时候采用了以下哪种算法？
a，动

查看全文: http://www.udpwork.com/item/4772.html

1.1 基于内容的推荐系统

基于内容推荐是推荐系统中比较常见的一种做法，这种方法对于每个item基于其自身属性，抽取一些特征用来表示这个item的内容，从而推荐那些和当前item含有相同或相近特征的一些item。

这种推荐系统多用于一些资讯类的应用上，针对文章本身抽取一些tag作为该文章的关键词，继而可以通过这些tag来评价两篇文章的相似度。抽取tag经常采用的方案是基于TF-IDF得到的一系列权值较高的term，即认为：在一篇文章中，那些出现频率高的（除停用词）词，并且在其他文章中出现频率较低的词更能代表这篇文章的内容。经过TF-IDF公式计算，权重大于某一阈值的term作为该文章的tag。通常，也考虑tag的词性，一般来说名

查看全文: http://www.udpwork.com/item/3901.html

这个图片太经典了，本来想翻译的，后来觉得这么经典的图片可能早已被人翻译了，简单的Google一下，果然有人翻译了。那我就把英文版和中文版都转过来吧。我们可以看到，其中很大一部分人都和Unix有着不解之缘（参见《Unix传奇上篇，Unix传奇下篇》）

英文原版

中文翻译版

什么也不说了，直接上图（图片比较大，单击图片看大图）

计算机编程简史图（英文版）

计算机编程简史图（中文版）

相关文章
2010年08月24日 -- 使用grep恢复被删文件内容
2010年07月14日 -- 五个编程语言设计的失误
2010年07月12日 -- 一些重要的算法
2010年07月05日 -- 参透软件开发的本质 – Unc

查看全文: http://www.udpwork.com/item/2169.html

话说一面时文就遇到了当场写一个哈希算法的问题，后来和小胖聊时，小胖说哈希属于比较简单的算法，电话面试可能也会被问到，于是准备一个吧。算法导论那边散列函数看过一些，不过脑子里还是没有一个完整的概念，之前MD5、SHA1什么的也用过，但是就是不知道这个普通的哈希算法怎么写，今晚在晚上研究了一下，下面写写心得。

其实哈希的目标就是将不定长的东西映射成为定长的形式，当然如果数据量足够大，必然会出现重复，但是散列表会利用一些机制避免重复，当然一般重复的概率比较低。有一种叫做times33的哈希算法，就是乘以33求散列，为啥乘以33呢？其实我也不知道，反正人家论证过了。下面给出c的算法，据说这段代码是来自Zend的，我稍微做了修改：

1
2

查看全文: http://www.udpwork.com/item/1163.html

文章来自ReadWriteWeb。大致内容如下：

改变非常细微，以至于大多数人并不能感觉到变化。改变了算法，会影响11.8%的查询结果，同时也想让网民明白算法的改进。惩罚低质量网站：对用户没多少价值的，或者拷贝无用信息的网站。提升高质量网站的排名：有原创内容和信息的网站，如研究、深度报告和有思考的分析等。

这一举措对于互联网的发展非常有意义。特别是在互联网行使其作为一种查找和传播信息的工具的功能时。

在大家满嘴挂着团购、SNS和电子商务等时尚词汇的时代，Google能够静下来持续改进其算法，这是非常难能可贵的。功在当代利在当代啊。

 

查看全文: http://www.udpwork.com/item/4371.html

    记得第一次了解中文分词算法是在 Google 黑板报 上看到的，当初看到那个算法时我彻底被震撼住了，想不到一个看似不可能完成的任务竟然有如此神奇巧妙的算法。最近在詹卫东老师的《中文信息处理导论》课上再次学到中文分词算法，才知道这并不是中文分词算法研究的全部，前前后后还有很多故事可讲。在没有建立统计语言模型时，人们还在语言学的角度对自动分词进行研究，期间诞生了很多有意思的理论。

    中文分词的主要困难在于分词歧义。“结婚的和尚未结婚的”，应该分成“结婚／的／和／尚未／结婚／的”，还是“结婚／的／和尚／未／结婚／的”？人来判断很容易，要交给计算

查看全文: http://www.udpwork.com/item/4490.html