IT牛人博客聚合

2011年10月8日，百度搜索手机客户端正式登陆Apple Store。

2011年12月12日，百度搜索手机客户端荣获APP Store 2011年度工具类最受欢迎第一名。

这个轻量化的搜索应用倾注了产品设计团队很多心血。全新的视觉和交互体验、更优的搜索体验、全新的Ding功能……它的发布是我们在搜索客户端领域迈出的一小步，MUX的设计师全程参加了这款应用设计与决策，这背后有好多同学在辛苦的努力着。今天让我们揭开它面纱，看看它的小故事。

要惊艳地呈现

一年多来，我们在手机端推出过掌上百度和百度快搜两款与搜索相关的应用，将搜索业务以客户端的形态延伸到手机端，在这期间，积累了大量搜索客户端化的设计研发经验。随着移动互联网这些年

查看全文: http://www.udpwork.com/item/6644.html

一.前言

传统的搜索引擎的定义，是指一种对于指定的查询（Query），能够返回与之相关的文档集合（Documents）的系统。而百度将这个定义更加丰富化，即搜索引擎能够帮助人们更方便的找到所求。这里的“所求”，比“文档”更加宽泛和丰富，比如一个关于天气的查询，直接返回一个天气预报的窗口，而非一篇关于天气的文档；再如一个关于小游戏的查询，直接返回这个小游戏的Flash页面而非简单的介绍性的文字。

百度对Query深刻的理解，源于自然语言处理技术在其中发挥的巨大作用。对搜索引擎而言，文本切分是最基础也是最重要的自然语言问题之一。今天，我们就来谈谈文本切分粒度与搜索引擎的关系。

本文后续章节组织如下：第二节介绍什么是文本的粒度，第三

查看全文: http://www.udpwork.com/item/6442.html

摘要: 本文从切分的需求、作用、难点等方面谈起，介绍分析了目前主流的各种切分方法以及其优缺点，并介绍了一个新型的无监督切分方法，并在此基础上对切分在工程需求上进行了相应的分析和讨论，在最后在此算法基础上给出一个融合各种优点的切分框架。

关键词: 中文分词， Query Segmentation，无监督

技术领域: 自然语言处理

我们为什么要切分？

说到切分(segmentation)，大多数人最容易想到的就是中文分词。作为没有天然空格区分的语言，切词可以帮助计算机去索引文章，从而便于信息检索等方面。该部分主要用到了分词的一个方面：降低搜索引擎的性能消耗。我们常用的汉字有5000多个，常用词组是几十万个。在倒排索引中，如果用每

查看全文: http://www.udpwork.com/item/6430.html

摘要：

两篇文档是否相关往往不只决定于字面上的词语重复，还取决于文字背后的语义关联。对语义关联的挖掘，可以让我们的搜索更加智能化。本文着重介绍了一个语义挖掘的利器：主题模型。主题模型是对文字隐含主题进行建模的方法。它克服了传统信息检索中文档相似度计算方法的缺点，并且能够在海量互联网数据中自动寻找出文字间的语义主题。近些年来各大互联网公司都开始了这方面的探索和尝试。就让我们看一下究竟吧。

关键词：主题模型

技术领域：搜索技术、自然语言处理

假设有两个句子，我们想知道它们之间是否相关联：

第一个是：“乔布斯离我们而去了。”

第二个是：“苹果价格会不会降？”

如果由人来判断，我们一看就知道，这两个句子之间虽然没有任何公共词语

查看全文: http://www.udpwork.com/item/6366.html

是不是见到google，facebook等大型专业网站的拥有不同的语言站群，可以不同语言间切换很给力？而我们只能羡慕嫉妒恨呢？

今天要介绍的就是如何识别不同国家，只需要简单几步，就能识别出来自不同国家的请求，使你的web应用更有国际范。

国家识别主要用到的是http header中的host，Accept-Language，cookie以及请求的url，ip等。

下面先温习下http header的基础知识。

1 HTTP Header头格式

在WEB开发中，无论是前端或后端都会发送请求，来浏览网页。而我们在开发中经常需要识别出客户端的信息，比如，国家，地区，浏览器信息等等。而这些信息都是由http header发送的。

查看全文: http://www.udpwork.com/item/6295.html

前言：

半年前，和师弟在一起吃饭时，他忽然抬头，很好奇地问我：“为什么有了百度的大检索，百度地图还要自己做检索呢？”这个问题也一直伴随着我，后来有幸转入检索方向，不断摸索，也才有了这篇文章。

正文：

地图检索，顾名思义，是在地图里的检索。它与大检索大同小异，虽然在切词粒度、专名识别、拉链归并和rank等很多细节上与大检索有一定差异，然而真正让他与众不同、独具风采的，是地图领域所特有的空间位置信息。

在地图检索领域中，每条query都富含空间信息，每条数据也都有自己的空间位置。如何解析、利用这些空间信息，就成为了地图检索的特色主线。本文也就这个主题进行介绍，在章节安排上，参考一个普通query的检索过程，分为三大部分：quer

查看全文: http://www.udpwork.com/item/6294.html

这是一份很偶然情况下立意做的横向评测，即便视频搜索这样的新兴搜索方式兴起，图片搜索仍然是除网页搜索外最常用的搜索方式。从最典型的百度搜索的Alexa数据看，图片搜索的访问比例仅次于网页搜索、知道、贴吧位居第四，高于百度百科、百度新闻及视频搜索。

图片搜索也是最容易让人忽视的产品类型，因为图片搜索很难像网页搜索那样快速得到质量反馈，换言之图片搜索的质量、体验也许与其所占的地位并不相符，这也是写这篇横评的初衷，希望大家不要忽视图片搜索的重要性。横评囊括了百度、Google（.com）、Bing、搜搜、有道、搜狗等主流搜索引擎的图片搜索，观点如有偏颇还请见谅。

所有图片搜索都支持通过独立的子域名访问，大部分使用images子域名，搜狗

查看全文: http://www.udpwork.com/item/5429.html

我尝试过两种方式在Mac上安装MySQL：

HomeBrew

export ARCHFLAGS=”-arch i686 -arch x86_64″

brew install mysql

用brew安装好后，还需要按照这个命令输出的信息进行配置：

brew info mysql

用这种方式安装好后，MySQL没法启动。出现如下错误：

mysql -uroot -p

ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’

从MySQL官网下

查看全文: http://www.udpwork.com/item/5296.html

搜索引擎每天处理着数以亿计的查询请求，每个查询请求都代表了一个用户对于某种资源的特定需求。多数时候，通过查询返回的网页结果，这些需求被满足了，我们可以认为结果中的某些页面对特定用户的特定需求产生了价值。那么对于搜索引擎而言，页面的价值是指什么，我们为什么要研究页面价值，技术上怎样判断页面的价值呢？本文将逐一回答这些问题。

一、 什么页面价值。

前面我们说了，某个页面满足了某一用户的特定需求，就体现了这个页面对用户的价值。那么对搜索引擎而言，价值体现在哪些方面呢？一个简单的推论，所有可能会对用户产生价值的页面都是对搜索引擎有价值的，将这些页面建入搜索引擎的索引中能够满足最终检索到它们用户的需求，我们称这种价值为检索价值。只要是能解

查看全文: http://www.udpwork.com/item/5174.html

一 什么是地图需求

用户通常会在搜索引擎中搜索很多与地图产品相关的词，如：北京地图，百度大厦怎么走，北京333路公交车等等，这些具有地域特征，并且适合用地图来满足的词都可以算用户地图需求。这类需求在大搜索结果中给予展现，相对传统的文字方式更能直观地满足用户的需求。

目前百度的地图需求主要可以大致归结成以下四大类：

1. 精确需求

包括：精确POI点、精确寻址需求、道路、门址。

这类需求地点明确唯一，结果如下：

2. 泛需求

这类需求地点不唯一，通常一个城市内有多个地点，如：

3. 行政区

主要是一些省、地级市、县等的区域查询需求，如：

4. 交通路线

交通路线包括二类：公交路线和出行方案。如下：

二 百度框

查看全文: http://www.udpwork.com/item/5175.html

在2010年亚运会期间，百度框计算携手网易，提供了实时的赛事概况、直播、赛程进展、奖牌榜、比赛项目进程及直播等等一系列的服务，取得了重大突破。数据显示，亚运会的15天时间，通过百度框计算进行亚运相关检索的数量达到了4000万次，较上届2006年的多哈亚运会15天仅有74万的检索量相比，今年的网页检索量增长了54倍之多，可见框计算的威力之大！

框计算的优点是数据准确，更新及时。传统的大搜索由于数据量庞大，无法满足一些像亚运会这样时效性要求特别高的查询需求。这就决定了框计算技术从理念上区别于大搜索。为此百度框计算团队做了很多创新，以下以亚运会这个案例为背景介绍一下框计算的主要流程。

一、数据源准备

框计算在百度内部的代号是阿拉丁，

查看全文: http://www.udpwork.com/item/5178.html

随着网速的不断提高，人们通过互联网观看视频的需求正越来越大。互联网上的视频站和视频资源也在不断增加，人们经常需要借助搜索引擎来查找自己需要的视频。对视频资源的索引也相应地成为了搜索引擎的一个基本功能。而要提供对视频资源的良好索引需要首先做到对视频站点的足够好的收录。本文将对视频站的收录进行简单探讨。

一、 简述

视频检索系统一种数据流图如下图所示。主要包括网页的抓取、网页上信息的抽取以及建立起索引提供外部可以访问的检索服务几个主要步骤。视频收录指的就是网页的抓取这一步。视频检索实际上也是文本检索，其核心数据只有两种：一种是用于定位视频资源的url，通过该url可以观看视频，通常是视频播放页面的url；另一种是对视频资源的内容进行

查看全文: http://www.udpwork.com/item/5167.html

子曾经曰过，“得用户者得天下”！，

搜索引擎的使命是帮助用户更便捷的获取信息，找到所求。所以，要做一个好的搜索引擎，至少需要做好三件事情，即理解用户意图、理解资源，以及做好这两者的匹配。通过传统的文本分析技术，比如TF-IDF、BM25等，可以很容易地把这些事情做到70分，但再往下做就越来越难。这时候，有聪明人发现，除了基本的文本之外，超链信息能够帮助我们更好的理解和匹配资源，于是就有了超链分析和pagerank，搜索技术也上升到了80分这个台阶。我们知道，一个技术做到了80分，就意味着它有可能比较好的投入应用了。于是，搜索引擎成为了一个产业，领头的是百度和Google。

到了这个阶段，搜索引擎领域只剩下了强者之间的对决，80分

查看全文: http://www.udpwork.com/item/4940.html

本站Alexa排名进入前50万。目前为止，准确的说，全球排名是468576，在中国的排名是32065。同时，本站目前的Feedburner订阅数是78，这个属于比较难捉摸的。有时订阅数量高达100多，第二天起来就剩80多了。再者，Feedburner被墙了，要让读者订阅也不容易。对于那些坚持订阅本站和坚持围观本站的，谢谢你们！总之，小小满足，祝贺一下！
从2010年7月开博到现在，以发表的文章数量为123。原先的域名是ikbear.com，我的最爱。无奈这个域名被墙了，只好换一个。虽然手头不少不错的域名，却觉得还是换成helishi.net好。helishi.net当时是个新注册的域名，当时ikbear.com这个域名已经积累了不少

查看全文: http://www.udpwork.com/item/4759.html

看到这样一句话，想查查其出处：
Everybody is a genius. But if you judge a fish by its ability to climb a tree, it will live its whole life believing that it is stupid.
用Google一搜索，得到这个链接。其中有个出处是百度百科的这篇文章，截图如下：
用百度一搜，发现在百度上也根本没有文库的份儿:

用文库一搜，更是没有结果：

百度，你流量还要Google给你带来，难道转做SEO而非搜索了？
PS：可能有百度的员工会看到本文。本文只针对百度搜索引擎，没有针对人，更没有针对你们。
关于作者
何李石,

查看全文: http://www.udpwork.com/item/4726.html

无论是书上还是博客里，韩寒的文章一直是我喜欢看的。最近他博客里有篇新作，叫《给李彦宏先生的一封信》，讲的是中国作家跟百度文库的事儿。

让我第一次彻底的认识到中国人懂版权是在Google图书搜索与中国作家纠结的时候。这一次，韩寒这样说：

我们也不是要求你们把百度文库关了，我们只是希望百度文库可以主动对版权进行保护，等未来数字阅读成熟以后，说不定百度文库还能成为中国作家生活保障的来源，而不是现在这样，成为行业公敌众矢之的。

当年，Google对所有“受害”作家赔偿至少60美金是个小数目，而其给作者们的67%的分成也不算大。看来，中国人的肥水真不会流外人田！这一次，让我认识到的不光是版权意识，更是爱国主义精神。

但我总觉得，光是版

查看全文: http://www.udpwork.com/item/4624.html