欢迎转载，转载注明出处。

想写点什么，但是把题目写完后，隐隐觉得自己有僭越之嫌。希望不要有好事者闲的蛋疼站出来跟我较真……本文仅作为私下交流之用。看完有收获的心里赞我两句，没收获的心里骂我两声即可，千万别再浪费时间跟我这儿矫情。另外，我文中可能会提到一些方法和框架都是随口编的，没打算暗指任何人已经发表的任何paper。如真需要指的话我会明说。

前两天辅导一个朋友做一个理论，和他交流过程中我一直在反思：在做一个理论之前，我们如何衡量理论是否出色。
以前自己做一些东西，想想觉得爽的就撸起袖子去敲MATLAB，觉得不爽就扔掉换个角度继续想。在这个内省的过程中，很少有东西能说出来。但是，当讨论到别人点子的时候，我需要给个理由为什么我不喜欢你这样的假设框架。
我们这里对于点子的评价，和对于已经做出来的工作的评价有相通之处，但又不完全相同。后者的评价相对简单很多，我们重点讨论前一种，希望对即将投身计算模型，特别是人工智能或者机器视觉相关领域的有志青年一点点帮助。

本文中可能会拿三流和一流工作打比方。这里需要澄清，三流工作也经常能在一流会议上见到，反之亦然。所以请不要总拿一两个类似XX牛会上发表的XX文章这样的例子来混淆自己——这道理再明显不过了，连韩国也不是没好人嘛。

选择合适的问题而非方法
首先，如果你是做计算模型的人，那就一定要时刻牢记，从问题入手，而不是方法。许多三流的工作看上去大概是这个样子：XX大牛在最近提出了某个很强的算法，我把它在XX数据集上跑了一下，调调参数发现比state-of-arts要好——也许甚至都不需要好，只要比最好的算法快，比最快的算法好就成了。

这种文章为什么烂呢？因为它的科学贡献太低了！大家用脚趾头思考一下都知道这算法肯定能在这个数据集上跑，一个好的结果（如果不是出乎意料地好）通常是由调参数来实现的，而且严格说来，很多人的参数选择实际上是在作弊——这就不深讲了。这样的文章我管它叫“实验报告”。

在我认识的同龄人里，让我感觉最突出的一个问题是：不少人在做一个问题之前，想用什么方法是已经预先定好了的。比如“我打算用小波做人脸识别”，或者“我打算用HMAX做segmentation”，若是依据这样的想法迈出第一步，我们实际上就已经抹杀了“建模”的大半乐趣。我以为，所谓计算模型之类的东西，之所以刺激，是因为方法不限。我们可以极尽龌龊地尝试新思路新方法。想象一下在创造力的比赛中，一开场就把自己的自由度砍掉一大半，这不是找死么……

什么是精彩的结果
如果我们回顾一下近百年科学发展中那些“被人记住”的计算模型。也许你会发现不少东西我们都可以拿“XX用XX方法解决了XX问题”这样的句子概括。但是这与我上面说的观点不矛盾——因为这些总结都是后验的，你问问发明人本身，几乎没有人能在开始就预见出这样的结果。换句话说，他们的理论之所以令人震惊，最主要的原因是这些理论在当时的体系下，是反直觉的（counter-intuitive）。如果黑白电视的理论已经成熟，你造出一个彩色的，那我要赞你是个成功的工程师，但并不代表任何科学上的价值。但是，当你发现行星普遍存在红移现象而无法通过当时的理论解释，一个反传统反直觉的大爆炸模型就可以依据现象逐步建立起来。
这类问题在视觉研究上也不乏例子。比如Hubel&Wiesel之前，大家都以为只要有光，视神经就一定会有响应。但是，只有当他们的实验现象显著地不符合预测时，他们的脑子才开始做了那些能真正推动人类科学进步的思考。

把计算当成一门实验科学，我们也完全处在一个“寻找反直觉、反现行框架的现象”的过程中。

如何做有意义的研究
在刚才说的大框架下，真正想做出发现，是需要很多方面的努力。简单来说，三点：合理假设，对于结果的审慎预测，以及区分噪音与异常结构的敏感……

突然发现要上课了，且听下回分解

绝对不能再这样下去了，必须想想办法，每周至少5次presentation绝对不是个事儿。。。我读的是PhD不是PrD。

顺便说一下，今天presentation的内容是nature neuroscience 07的一篇文章，读到最后发现整个文章在数据统计方面的逻辑简直是一塌糊涂。这一点Vul在他著名的Voodoo paper中已经指出了，简单地说，你掷骰子，统计骰子点数大于3的全部事件，求平均，然后你惊奇地发现这个数比3大很多（比如，是5）。

总结一下，你处理数据的手段必须和你得到数据的手段统计上独立，否则逻辑就有问题。我相信不光是social neuroscientists，一些做computer vision / machine learning的家伙们也在干这种事情，要么每年怎么能出版那么多文章呢。。。

Emmanuel要走了，只能扼腕叹一下学校之间挖墙脚还真是激烈。不过至少我们也从烂校挖来了Doris，下学期的实验室有着落了。