DeepMind的MEMO AI以更少的计算量解决了新颖的推理任务

 
AI能否抓住推理的本质，即对分布在多个事实或记忆中的元素之间远距离关系的欣赏? Alphabet的子公司DeepMind试图在预印服务器Arxiv.org上发表的一项研究中找到答案，该研究提出了一种具有远距离推理能力的架构MEMO。研究人员说，MEMO的两个新颖组成部分-第一个引入事实和存储在外部存储器中的内存之间的分隔，第二个采用检索系统，该系统允许在决定答案之前可变数量的“内存跃点” —使它能够解决新颖的推理任务。
该论文的合著者写道：“ [海马以新颖的方式支持单个经历的灵活重组，以推断出未观察到的关系……这称为推理”。有趣的是，已经证明海马通过称为模式分离的过程彼此独立地存储记忆，以最大程度地减少体验之间的干扰。最近的一项研究揭示了这一点……通过证明分离的经验的整合出现在通过循环机制进行检索的时候，[该机制允许多个模式分离的代码进行交互并因此支持推理。”
然后，DeepMind的工作从这项研究中得到启发，以研究和增强机器学习模型中的推理。他们利用神经科学文献，设计了一种程序生成的任务，称为配对联想推理(PAI)，该任务旨在通过迫使AI系统学习抽象方法来解决以前看不见的问题，从而捕获推理推理。然后，他们设计了MEMO(在提供输入查询时会输出一系列可能的答案)，并且偏爱表示形式，以尽量减少必要的计算。
研究人员说，MEMO在内存中保留了一组事实，并学习了一种与机制配合使用的投影，该机制在使用内存时具有更大的灵活性，并且它与典型的AI模型不同，因为它使计算时间适应了复杂性。任务。从称为REMERGE的人类联想记忆模型中获取线索，该记忆将从记忆中检索到的内容作为新查询进行再循环，并使用再循环过程中不同时间步长检索到的内容之间的差异来计算模型是否已适应在固定点上，MEMO输出一个动作，该动作指示它是希望继续计算并查询其内存，还是能够响应给定的任务。
在测试中，DeepMind研究人员将MEMO与Facebook AI Research的bAbi套件(评估文本理解和推理的20项任务)中的两个基线模型以及当前的最新模型进行了比较。 MEMO能够在PAI任务上实现最高的准确性，并且它是唯一能够在较长的序列上成功回答最复杂的推理查询的体系结构。此外，MEMO只需要三个“跳跃”就可以完成一项任务，而性能最佳的基线模型只有10个步骤。在另一个需要模型在给定节点图的情况下找到两个节点之间最短路径的任务中，MEMO比更复杂的图中的基线要好20%。