编码机

深度学习之后,我们或许可以从进化论中找到

发布时间:2024/12/18 15:59:25   
北京中科白癜风康复明星 http://www.txbyjgh.com/index.html
图1:开放的环境与物种间的竞争是达尔文进化论中实现自然进化的两个重要的驱动力,而这两个驱动力在最近的AI模型演进方法的研究工作中却没有体现出来,在同一个世代中,更快的黑斑羚和更快的猎豹比它们更慢的同类更容易生存下来——由此进化出更快的黑斑羚和猎豹品种。基于基因和自然选择理论的这些原理可以帮助AI获得大的进步么?目录一、简介二、基因和自然选择三、进化计算进化策略直接编码的基因算法间接编码的基因算法无限开放式进化(这是最有趣的部分)本文未提及的其他方面四、结论五、参考文献一、简介大概自年以后[1],人工智能行业的爆发式增长几乎都是反向传播训练的(深度学习)神经网络模型所带来的。包括用于图形分类、自动语音识别、语言翻译、机器人以及能玩单人或多人游戏的自主智能体等领域的模型。然而最近,研究者开始应用基于生物学进化机制的方法来构建模型。这种思路在深度学习时代之前就有了,但直到最近才发展到足以和反向传播训练的深度学习模型媲美的态势。在这篇博客里,我们会聊到一些进化方法,对比它们与生物进化和有机发育的异同,并推断出他们最终将如何以甚至比传统深度学习模型更强大和更高效的方式推动AI模型的发展。二、基因和自然选择简单来说,达尔文理论认为,进化是机体特性经自然选择强化所发生的微小变化的结果。具有优势特性的有机体更容易繁衍下来,这样就淘汰了那些具有相对劣势特性的有机体。达尔文当时并不知道这些特性是如何由父母辈遗传到下一代的(如果知道了这一点,他的发现就更加了不起),但我们现在知道有机体的基因型,以及它生存发展的外界环境共同决定了它的表现型(物理和行为特性)。一般来说,后代出现了新基因型是因为遗传自父母的DNA发生了随机突变,或是多个来源的基因混合(有性生殖),或是两者兼而有之。三、进化计算受进化论的启发,科学家们对生物进化的理解迁移到了计算模型的优化上。其中最简单的方式是进化策略(evolutionstrategies),更大、更多样化的复杂模型则采用基因算法(geneticalgorithms)。这两种方法都是通过优化适应度函数来显性地评估人工有机体在特定任务上的表现。另一种可替代的方法是,摒弃适应度函数,而选择利用丰富、开放的环境,让超过一个种类的多个智能体在该环境中为生存和繁衍而独自竞争,利用自然选择挑选出最终存活并繁衍下来的那个。1、进化策略进化策略是这样一类优化算法:在每一次迭代(代际传递)中,参数向量(基因型)都会受到扰动(突变),变化后的适应度函数会被再次评估打分[2,3]。最高得分的参数向量会参与形成下一代的参数向量,不断迭代直到目标方程已被充分优化。在协方差矩阵适应性进化策略中(Coveriance-MatrixAdaptationEvolutionStrategy,CMAES),模型参数的分布会存储在协方差矩阵中。每一代中,每个样本的模型参数都取值于这个分布。协方差矩阵会根据获得最高适应度得分的样本参数更新矩阵。大家如果想看到这一过程的2D可视化效果,可参考Otoro的博客:

转载请注明:http://www.aideyishus.com/lkyy/7444.html
------分隔线----------------------------