机器之心分析师网络

作者：仵冀颖

编辑：Joni

本文中，作者对经典预测编码模型和深度学习架构中的预测编码模型进行了简单回顾，其中重点介绍了用于视频预测和无监督学习的深度预测编码网络PredNet以及基于PredNet进行改进的一些版本。

0、引言

预测编码（predictivecoding）是一种认知科学的假说。与一般认为高层次的神经活动都是由感官输入引起的理念不同，该假说认为更高层次的神经表征会参与定义感觉输入（SensoryInput）。预测编码的概念起源于神经科学界，近年来，机器学习领域的一些研究人员也开始致力于研究预测编码相关的模型。本文以来自路易斯安那大学拉菲特分校（UniversityofLouisianaatLafayette）的HosseiniM和MaidaA近期发表的文章为基础[1]，探讨预测编码是如何在深度学习的架构中应用的。

预测编码的一个决定性特征是：它使用自上而下的重构机制来预测感觉输入或其低级别的表征。具体来说，预测编码首先确定预测值和实际输入之间的差异（称为预测误差），然后启动后续学习过程，以改进所学的更高层次表征的预测准确度。在深度学习发展之前，旨在描述新皮质计算（

转载请注明:http://www.aideyishus.com/lkjg/6705.html