亚马逊研究人员称进化方法改善了AI模型的选择

 
选择架构是构建任何AI模型的关键步骤，但是说起来容易做起来难。除了由“ autoML”系统生成的，可根据基本任务概述工作的内容之外，其设计还结合了历史先例，领域知识以及反复试验的知识。
亚马逊研究人员认为，这是一种更好的方法，即一种涉及生成定制架构的计算方法的方法。在上周于慕尼黑举行的国际人工神经网络国际会议上发表的一篇论文(“关于函数逼近的界限”)中，他们探索了适用于任何计算模型的技术，条件是该模型可以计算出与图灵机相同的功能。 (在这种情况下，图灵机是指定义抽象机的模型，该抽象机根据规则来操纵符号。)
“无论使用哪种学习算法，选择哪种体系结构或调整训练参数(例如批大小或学习率)，选择神经体系结构都不可能为给定的机器学习问题提供最佳解决方案，” ，是Alexa AI机器学习平台服务组织的研究工程师，论文的主要作者。 “只有考虑到广阔的可能性，我们才能确定一种在理论上保证其计算准确性的体系结构。”
为此，团队评估了函数逼近问题的解决方案，这是AI算法搜索参数以逼近目标函数输出的方式的数学抽象。他们将其重新制定为发现一个估计目标函数输出的已知函数序列的问题，他们说这赋予了更好的系统建模优势。
研究人员的研究表明，应该选择AI模型的组成部分，以确保它们具有图灵等效性。他们说，最好通过自动搜索来识别模型，该搜索使用程序来设计特定任务的架构。这种搜索中的算法首先生成用于解决问题的其他候选算法，然后将性能最佳的候选者彼此组合并再次进行测试。
“本文的……可立即应用的结果是鉴定遗传算法，更具体地说，是协同进化算法，其性能指标取决于彼此之间的相互作用，这是寻找最佳(或接近最佳)架构的最实用方法，”温特写道。 “基于经验，许多研究人员得出的结论是，协同进化算法提供了构建机器学习系统的最佳方法。但是我的论文中的函数逼近框架有助于为他们的直觉提供更安全的理论基础。”
亚马逊并不是唯一一个倡导采用进化方法进行AI架构搜索的人。 7月，Uber为名为EvoGrad的进化算法开源了开发库。去年10月，Google推出了AdaNet，这是一种用于组合机器学习算法以获得更好的预测见解的工具。