选自TowardsDataScience

作者：TirthajyotiSarkar

机器之心编译

参与：高璇、刘晓坤

牛顿说：「解释自然界的一切，应该追求使用最少的原理。」

介绍

我们很少听到一个三词短语，能将统计学习、信息论和自然哲学的一些核心概念融合到一起。它对于任何有探索兴趣的人来说，都有精确且易于理解的含义，而且对ML和数据科学的研究人员，它应该是个有实用性的词。

我说的就是「最小描述长度」（MinimumDescriptionLength）。你可能在想这到底是什么……

让我们拨开层层迷雾，看看它有多有用。

贝叶斯和他的定理

我们从托马斯·贝叶斯牧师开始说起（不按年代），他从未发表过关于统计推理的想法，但他的同名定理却经久不衰。

在18世纪下半叶，还未曾出现名为「概率论」的数学科学分支。人们知道它，是因为AbrahamdeMoievre写的一本名为《机会学说》的书。年，由贝叶斯撰写的一篇名为《机会问题的解法》的文章，经过RichardPrice编辑后寄给了英国皇家学会，并发表到《伦敦皇家学会哲学学报》上。在这篇文章中，贝叶斯用一种频率论的方式描述了一个关于联合概率的简单定理，得到了逆概率的计算公式，即贝叶斯定理。

自此统计学科的两个敌对学派——贝叶斯学派和频率学派展开了多次「战争」。但为了本文的目的，让我们暂时忽略历史，把重点放在贝叶斯理论的简单解释上。本文只

转载请注明:http://www.aideyishus.com/lkzp/4899.html