最新 | 最热门 | 最高评价

+0  支持向量机:Duality

Tag: Machine Learning | Optimization | Support Vector Machine
pluskid 发于 2010年11月02日 23:14 | 点击: 2003 | 展开摘要
本文是“支持向量机系列”的番外篇(1),参见本系列的其他文章。

在之前关于 support vector 的推导中,我们提到了 dual ,这里再来补充一点相关的知识。这套理论不仅适用于 SVM 的优化问题,而是对于所有带约束的优化问题都适用的,是优化理论中的一个重要部分。简单来说,对于任意一个带约束的优化都可以写成这样的形式:

\[

\begin{aligned}

\min&f_0(x) \\

s.t. &f_i(x)\leq 0, \quad

查看全文: http://www.udpwork.com/item/3252.html

+0  悼念 Partha Niyogi

Tag: Life
pluskid 发于 2010年10月07日 18:28 | 点击: 1982 | 展开摘要
突然得到 Partha Niyogi 过世的消息,都说不好自己是什么反应了,又有些震惊吧,又有些伤心吧——虽说我们非亲非故,虽然是导师的导师,但是也从未见过面也没有过任何直接的交流——但是总还是觉得有些难过。其实今年年初听到 Sam Roweis 过世的消息(同样是英年早逝)时都还没有这样强烈的反应,但是后来屡屡在论文中看到 Roweis 的名字,想起来,也有些触动,所以大概这次才会倍感沉重吧!其实我昨天还在读 Niyogi 的一篇论文呢。 >_<

他现在才四十来岁,听说死

查看全文: http://www.udpwork.com/item/2954.html

+0  支持向量机:Numerical Optimization

Tag: Machine Learning | Optimization | Supervised Learning | Support Vector Machine
pluskid 发于 2010年09月15日 17:29 | 点击: 2685 | 展开摘要
本文是“支持向量机系列”的第五篇,参见本系列的其他文章。

作为支持向量机系列的基本篇的最后一篇文章,我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下,原因主要有两个:第一这类优化算法,特别是牵涉到实现细节的时候,干巴巴地讲算法不太好玩,有时候讲出来每个人实现得结果还不一样,提一下方法,再结合实际的实现代码的话,应该会更加明了,而且也能看出理论和实践之间的差别;另外

查看全文: http://www.udpwork.com/item/2721.html

+0  数学公式识别

Tag: Tool | LaTeX | Tip
pluskid 发于 2010年09月14日 19:51 | 点击: 2508 | 展开摘要
在电脑上输入公式一直不是一件很愉快的事情,经历过 Word 的公式编辑器时代,还有 MathType ,只能说输入不方便而且结果非常难看。LaTeX 虽然号称是“所想即所得”,书写数学公式也相对流畅,然而有时候稍微复杂的公式写出来变成一堆结构不明显的代码,实在是比较难以继续——又不是所见即所得的,LaTeX 的错误信息又是那么让人摸不着头脑,遇到复杂的公式总是忍不住写一部分又编译一下看看是不是有问题,结果弄得很麻烦。但总归 LaTeX 渲染出来的公式目前来说还是最好看的,而且

查看全文: http://www.udpwork.com/item/2716.html

+0  支持向量机:Outliers

Tag: Machine Learning | Supervised Learning | Support Vector Machine
pluskid 发于 2010年09月13日 13:57 | 点击: 2028 | 展开摘要
本文是“支持向量机系列”的第四篇,参见本系列的其他文章。

在最开始讨论支持向量机的时候,我们就假定,数据是线性可分的,亦即我们可以找到一个可行的超平面将数据完全分开。后来为了处理非线性数据,使用 Kernel 方法对原来的线性 SVM 进行了推广,使得非线性的的情况也能处理。虽然通过映射 $\phi(\cdot)$ 将原始数据映射到高维空间之后,能够线性分隔的概率大大增加,但是对于某些情况还是很难处理。例如可能并不是因为数据本身是非线性结构的,而只是因为数据有噪音。对于这种

查看全文: http://www.udpwork.com/item/2692.html

+0  支持向量机: Kernel

Tag: Machine Learning | Kernel | Manifold | Supervised Learning | Support Vector Machine
pluskid 发于 2010年09月11日 23:34 | 点击: 2048 | 展开摘要
本文是“支持向量机系列”的第三篇,参见本系列的其他文章。

前面我们介绍了线性情况下的支持向量机,它通过寻找一个线性的超平面来达到对数据进行分类的目的。不过,由于是线性方法,所以对非线性的数据就没有办法处理了。例如图中的两类数据,分别分布为两个圆圈的形状,不论是任何高级的分类器,只要它是线性的,就没法处理,SVM 也不行。因为这样的数据本身就是线性不可分的。

对于这个数据集,我可以悄悄透露一下:我生成它的时候就是用两个半径不同的圆圈加上了少量的噪音得到的,所以,一个理想的分

查看全文: http://www.udpwork.com/item/2673.html

+0  支持向量机: Support Vector

Tag: Machine Learning | Optimization | Supervised Learning | Support Vector Machine
pluskid 发于 2010年09月10日 23:53 | 点击: 2594 | 展开摘要
本文是“支持向量机系列”的第二篇,参见本系列的其他文章。

上一次介绍支持向量机,结果说到 Maximum Margin Classifier ,到最后都没有说“支持向量”到底是什么东西。不妨回忆一下上次最后一张图:

可以看到两个支撑着中间的 gap 的超平面,它们到中间的 separating hyper plane 的距离相等(想想看:为什么一定是相等的?),即我们所能得到的最大的 geometrical margin $\tilde{\gamma}$ 。而“支撑”这两

查看全文: http://www.udpwork.com/item/2668.html

+0  Display Equation with MathJaX

Tag: Tool | Wordpress
pluskid 发于 2010年09月09日 10:22 | 点击: 2602 | 展开摘要
之前一直用一个 LaTeX 的 WordPress 插件来显示公式,插件的工作原理很简单,把公式用 LaTeX 编译为 dvi ,然后用 dvi2png 之类的工具转换为图片,最后根据公式的文本内容算出一个 Hash 值,作为图片的文件名,缓存起来,下次遇到需要显示同样的公式的时候,如果文件已经存在的话,就不重新生成一遍了。

不过最近换成了用 MathJaX 来显示公式。这个东西易用性实在是非常好,安装配置基本上没有什么可说的,几乎是解压一下,然后把一条引用它脚本的语句加到

查看全文: http://www.udpwork.com/item/2643.html

+0  支持向量机: Maximum Margin Classifier

Tag: Machine Learning | Supervised Learning | Support Vector Machine
pluskid 发于 2010年09月08日 23:42 | 点击: 2215 | 展开摘要
本文是“支持向量机系列”的第一篇,参见本系列的其他文章。

支持向量机即 Support Vector Machine,简称 SVM 。我最开始听说这头机器的名号的时候,一种神秘感就油然而生,似乎把 Support 这么一个具体的动作和 Vector 这么一个抽象的概念拼到一起,然后再做成一个 Machine ,一听就很玄了!

不过后来我才知道,原来 SVM 它并不是一头机器,而是一种算法,或者,确切地说,是一类算法,当然,这样抠字眼的话就没完没了了,比如,我说 SVM 实

查看全文: http://www.udpwork.com/item/2641.html

+0  Acrobat meets Embedding

Tag: Bugs | Fun
pluskid 发于 2010年08月18日 13:56 | 点击: 3503 | 展开摘要
今天遇到一个非常 weird 的问题。实际上,这个问题已经困扰了我好几天了,那就是我发现我系统里的 Acrobat ,打开 PDF 文件的时候有时候需要“打开两次”才能真正打开,就是双击一下没有反应,要双击第二下才会出现 Acrobat 窗口。令我困惑的是并不是总是这样的,而是“偶尔出现”,实在是让人摸不着头脑。

今天又碰到了这个问题,终于忍无可忍,打开任务管理器观察一番,发现第一次双击的时候确实会出现 Acrobat.exe 这个进程,但是窗口并不显示出来,第二次双击的时

查看全文: http://www.udpwork.com/item/2412.html

+0  You do (not) know

Tag: Life | Thought
pluskid 发于 2010年08月04日 19:13 | 点击: 1815 | 展开摘要
SPIEGEL: The genome project hasn’t just raised hopes — but also worries. Do you understand those concerns?

Venter: Yes. There are two groups of people. People either want to know the information or they prefer to live like an o

查看全文: http://www.udpwork.com/item/2300.html

+0  Generate Recursive Images

Tag: Develop | Fun | Matlab | Optimization
pluskid 发于 2010年06月24日 15:10 | 点击: 5072 | 展开摘要
在上一篇 blog 中我提到了递归图片,还给了一个有趣的例子,这次还说递归图片,再给另一个例子:

不过这次的例子是我自己生成的,而篇 blog 就是要讲如何来生成这样一张递归图片。其实方法很简单,类推一下,多花一些功夫的话,之前给的那个“二次递归”的例子也是可以“轻松”做出来的。

秘密就在于不动点迭代。我在上一篇 blog 中已经说过了,这个递归的东西要找的其实是一个“不动点”。对于一个函数 来说,一个不动点 就是满足 的值。而不动点的求法就是一个迭代,简单来说

查看全文: http://www.udpwork.com/item/1853.html
|<<<123456>>>| 一共6页, 67条记录