研究需要，晚上祭起信息论[1]重读。
已经不知道是多少次，觉得自己“足够认真地”看这本皱皱巴巴的书了。可是每次读过，却总能有新的体会。


想起两个月前和老张的通信[2]：“比如你刚学信息论的时候，总是摸不透熵是何物。只有你不断去用时才会理解。”
其实，我想补充的是，就算是已经完成了好几个和熵直接相关的理论，我还是没摸透熵是何物。

P.B. Shelley说得对[3]，Claude Shannon stood alone illuminating an age unworthy of him.


这里需要顺便指出一下带着实际问题学习理论知识的重要性。
如果没有实际问题支撑，各种定理公式流于形式。就好比我现在很难说在对单神经建模，到底应该用分类器更合理还是看成有噪音的信道更合理。在每次将实际问题代入抽象的模型时，我们总会无可避免地加入各种先验假设。而假设的合理性必须基于对模型入木三分的理解。而且，假设的合理性直接决定了模型的性能。
回顾国内教育的矛盾之处往往在于，教书人盲目地强调基础有多重要，恨不得你本科四年学四年基础，以为这样就可以制造内力雄厚的全才。但是说实话如果你不是天才也不是自闭症患者，几乎是没有可能直接在抽象的学习中把基础的每个犄角旮旯都摸透。更谈不上理解基础理论背后的假设，及其在具体模型中的意义了。


-----reference-----
[1] Elements in Information Theory
[2] Personal communication
[3] A Defence of Poetry - Percy Bysshe Shelley