研究人员提出了通过进化来训练AI代理的范例

 
卡耐基梅隆大学，旧金山研究公司OpenAI，Facebook AI Research，加利福尼亚大学伯克利分校和上海交通大学的研究人员发表的论文描述了一种扩展多主体强化学习的范例，其中AI模型通过代理在环境中进行交互，以使代理数量随时间增加。共同作者说，通过在每个训练阶段维持特工的集合并在这些集合上执行混合搭配和微调步骤，该范例-进化种群课程-能够促进对下一阶段具有最佳适应性的特工。
在计算机科学中，进化计算是受生物进化启发的全局优化算法家族。这些模型没有遵循明确的数学梯度，而是生成变体，对其进行测试并保留表现最好的人。它们在OpenAI，Google，Uber和其他公​​司的早期工作中显示出了希望，但由于缺乏针对进化算法和自然进化策略(NES)的工具，因此很难进行原型设计。
正如合著者所解释的那样，“进化种群课程”允许代理人成倍增加。核心思想是将学习过程分为多个阶段，环境中的代理人数量不断增加，以便代理人首先学会在更简单的场景中使用更少的代理人进行交互，然后利用这些经验来适应更多的代理人。
进化种群课程通过直接克隆上一个阶段的现有代理而引入了新的代理，但是它融合了一些技术，以确保随着种群规模的扩大，只有具有最佳适应能力的代理才能进入下一阶段。在每个阶段的代理之间并行执行交叉，突变和选择，以使对总体训练时间的影响最小。
研究人员在三种具有挑战性的环境中进行了实验：捕食者-猎物式的草地游戏，混合合作和竞争性对抗战斗游戏以及完全合作的食物收集游戏。他们报告说，在性能和训练稳定性方面，该代理“大大”改善了基线，这表明“进化种群”课程是通用的，可能会有利于扩展其他算法。
共同作者写道：“大多数现实世界中的问题都涉及多个代理商之间的相互作用，当代理商之间存在复杂的合作与竞争时，问题将变得更加棘手。” “我们希望，在未来有简单规则的环境中，与大量代理人一起学习也能导致群体智能的出现。”
如果确实进化种群课程是为各种目标任务隔离最佳算法的有效方法，那么它将有助于自动化AI模型工程中最费力的工作。根据Algorithmia的研究，有50%的公司花费8至90天的时间来部署单个AI模型。