机器之心专栏机器之心编辑部从无声视频中生成音乐？这听起来很难。由MIT-IBM沃森人工智能实验室主任研究员淦创博士领导的研究小组在ECCV的一篇论文中，提出了一种名为“FoleyMusic”的模型，仅根据音乐家的身体动作就能自动生成一段极具表现力的音乐。说起计算机音乐的发展史，还要追溯到年，英国计算机科学家艾伦·图灵是第一位录制计算机生成音乐的人。近年来，深度神经网络的出现促使了利用大规模音乐数据进行训练来生成音乐的相关工作。然而，音乐往往伴随着演奏者与乐器的互动，并通过细微的手势与乐器相互作用以产生独特的音乐。这就会出现一个有趣的问题：给定音乐家演奏乐器的无声视频片段，我们是否可以开发一种模型，能够根据音乐家的身体动作自动生成一段逼真的音乐？这种功能将会为各种应用奠定基础，例如自动为视频添加声音效果，以避免繁琐的人工操作，或在虚拟现实中创造听觉沉浸式体验。但具体来说，如何实现呢？研究概述论文

转载请注明:http://www.aideyishus.com/lkzp/7819.html