这么简朴的游戏还卡壳?神经网络在「生命游戏」里苦苦挣扎

时间:2021-07-22 10:25 作者:亿博体育app
本文摘要:【新智元导读】生命游戏是一种基于网格的自念头。最近,有研究人员揭晓了一篇论文,指出只管这款游戏很简朴,但它对神经网络来说,仍是个挑战。 他们的论文研究了神经网络是如何「探索」这款游戏的,以及为什么它们会经常错过正确玩法。康威生命游戏是英国数学家约翰·康威在1970年发现的细胞自念头。这个游戏可以在一个无限大的2D网格上举行。这款小游戏在科学、盘算和人工智能中被热烈讨论,因为它代表了纵然是简朴的规则,也可以发生很是庞大的效果。

亿博体育app下载

【新智元导读】生命游戏是一种基于网格的自念头。最近,有研究人员揭晓了一篇论文,指出只管这款游戏很简朴,但它对神经网络来说,仍是个挑战。

他们的论文研究了神经网络是如何「探索」这款游戏的,以及为什么它们会经常错过正确玩法。康威生命游戏是英国数学家约翰·康威在1970年发现的细胞自念头。这个游戏可以在一个无限大的2D网格上举行。这款小游戏在科学、盘算和人工智能中被热烈讨论,因为它代表了纵然是简朴的规则,也可以发生很是庞大的效果。

在最近的一篇论文中,斯沃斯莫尔学院和洛斯阿拉莫斯国家实验室的人工智能研究人员指出,只管康威生命游戏很简朴,但对人工神经网络来说,这仍是个不小的挑战。这篇文章名为「神经网络很难学会生命游戏」的文章中 ,通过使用神经网络如何探索生命游戏,他们发现电脑经常找不到正确解决方案。生命游戏是一个零玩家游戏。它包罗一个二维矩形世界,这个世界中的每个方格居住着一个在世的或死了的细胞。

在生命游戏中,对于任意细胞,规则如下:如果一个活细胞的相邻细胞少于两个,它就会因数量不足而死亡。如果一个活细胞有三个以上的邻人,它就会死于过剩。如果一个活细胞恰好有两个或三个活的邻人,它就能存活。

如果一个死去的细胞有三个相邻的活细胞,它就会复生。可以把最初的细胞结构界说为种子,当所有在种子中的细胞同时被以上规则处置惩罚后,可以获得第一代细胞图。按规则继续处置惩罚当前的细胞图,可以获得下一代的细胞图,周而复始。

基于这些简朴的规则,可以调整网格的初始状态,来建立稳定,振荡,滑翔等多种模式。例如,这就是所谓的滑翔模式。你也可以使用生命游戏来建立很是庞大的模式,好比这个, 有趣的是,无论网格变得何等庞大,你都可以使用相同的规则来预测下一个时间步中每个单元的状态。

现在,神经网络的预测能力有目共睹,那么,深度学习模型能否学到生命游戏的基本规则?人工神经网络与生命游戏「我们已经知道了一个解决方案,」 雅各布·施普林格,斯沃斯莫尔学院盘算机科学专业的学生说,他同时也是这篇论文的合著者,「我们可以手写一个实现生命游戏的神经网络,因此我们可以将学到的解决方案与手工制作的解决方案举行比力。」 雅各布·施普林格,斯沃斯莫尔学院盘算机科学专业的学生通过修改深度学习模型预测的未来时间步长值,可以很容易地调整游戏的灵活性。此外,与盘算机视觉或自然语言处置惩罚等领域差别,如果神经网络学会了生命游戏的规则,它将到达100% 的准确率,不会泛起模棱两可的情况——只要泛起一次失败,那就说明它没有学会正确的规则。

研究人员首先建立了一个小型卷积神经网络,并手动调整其参数,以便能够预测网格细胞中的变化顺序。这证明晰有一个最小的神经网络可以代表生命游戏的规则。然后,他们实验着从零开始训练,看看同样的神经网络在能否到达最佳设置。

亿博体育app下载

他们将参数初始化为随机值,并对神经网络举行了100万个随机生成的生命游戏实例的训练。神经网络到达100%准确率的唯一方法是收敛于手工制作的参数值。这意味着人工智能模型已经将生命游戏背后的规则参数化。

但在大多数情况下,经由训练的神经网络并没有找到最优解,而且,随着步数的增加,网络性能进一步下降。果真,训练样本集的选取和初始参数对神经网络的训练效果有很大影响。

最不幸的是,你永远不会知道神经网络的初始权重应该是几多。常见的做法是从正态漫衍中挑选随机值。雅各布·施普林格说:「对于许多问题,你在数据集方面没有太多的选择; 你可以收集数据,所以如果你的数据集有问题,你可能很难训练神经网络。」大型神经网络的性能左图: 一个手动调整的卷积神经网络可以很是准确地预测生命游戏的效果。

右: 实践中,当重新开始训练网络时,需要一个更大的神经网络来获得同样的效果在机械学习中,提高体现不佳的模型准确性的盛行方法之一就是增其庞大性。这个技巧在生命的游戏中起到了作用。随着研究人员为神经网络增加了更多的条理和参数,效果获得了改善,训练历程最终发生了一个近乎完美的准确度的解决方案。可是,一个更大的神经网络也意味着训练和运行深度学习模型的成本增加。

一方面,这讲明了大型神经网络的灵活性。虽然一个庞大的深度学习模型可能不是解决问题的最佳架构,可是它有更大的时机找到一个好的解决方案。但另一方面,它证明晰可能存在一种更小的深度学习模型,能够提供相同或更好的效果ーー如果你能找到它的话。这些发现与麻省理工学院 CSAIL 的人工智能研究人员在 ICLR 2019集会上提出的“彩票假说”是一致的。

该假设认为,对于每一个大型神经网络,如果它们的参数已经凭据幸运中奖值初始化,就会有较小的子网络可以收敛到一个解决方案,因此称为「彩票」命名法。生命游戏论文的作者写道: 「彩票假说认为,当训练一个卷积神经网络时,小型幸运子网络会迅速聚集到一个解决方案上。」。

「这讲明,梯度下降优化不是通过权值空间广泛搜索最优解,而是可能依赖于幸运的权值初始化,这些权值恰好将子网定位在靠近网络收敛到的合理局部极小值的位置。」斯普林格说: 「我认为这些效果肯定会激励人们研究革新的搜索算法,或者提高峻型网络效率的方法。

」。


本文关键词:这么,简朴,的,亿博体育app下载,游戏,还,卡壳,神经网络,在,「

本文来源:亿博体育app-www.isochina.org