选自arXiv作者：YuCheng等机器之心编译参与：蒋思源、路雪、刘晓坤本文全面概述了深度神经网络的压缩方法，主要可分为参数修剪与共享、低秩分解、迁移/压缩卷积滤波器和知识精炼，本论文对每一类方法的性能、相关应用、优势和缺陷等进行独到的分析。机器之心简要介绍了该论文，更详细的内容请查看原论文。大型神经网络具有大量的层级与结点，因此考虑如何减少它们所需要的内存与计算量就显得极为重要，特别是对于在线学习和增量学习等实时应用。此外，近来智能可穿戴设备的流行也为研究员提供了在资源（内存、CPU、能耗和带宽等）有限的便携式设备上部署深度学习应用提供了机会。高效的深度学习方法可以显著地影响分布式系统、嵌入式设备和用于人工智能的FPGA等。典型的例子是ResNet-50[5]，它有50层卷积网络、超过95MB的储存需求和计算每一张图片所需要的浮点数乘法时间。如果剪枝一些冗余的权重后，其大概能节约75%的参数和50%的计算时间。对于只有兆字节资源的手机和FPGA等设备，如何使用这些方法压缩模型就很重要了。实现这个目标需要联合多个学科以寻找解决方案，包括但不限于机器学习、最优化、计算机架构、数据压缩、索引和硬件设计等。在本论文中，我们回顾了在压缩和加速深度神经网络方面的工作，它们广泛受到了深度学习社区的

转载请注明:http://www.aideyishus.com/lktp/6803.html