24小时联系电话:185 8888 888

商业
您现在的位置: 首页 > 商业 > 亚马逊详细介绍了AI,可更可靠地回答问题

亚马逊详细介绍了AI,可更可靠地回答问题

发布时间:2020/02/02 商业 浏览次数:56

 
自然语言模型能否提高他们即时回答问题的能力?这就是亚马逊研究人员小组计划在纽约2020年人工智能促进协会上进行的一项研究中要回答的问题。他们提出了一种基于Google的Transformer架构来调整模型的方法,该方法特别擅长学习输入数据之间的长期依赖关系(例如句子中各个单词之间的语义和句法关系),以解决答案选择问题。该团队表示,在基准数据集上进行的测试中,他们提出的模型证明平均平均精度(根据排名的正确性来衡量答案的排序列表的质量)绝对提高了10%,最新的答案选择模型,可将错误率降低50%。
去年年底首次提出了“转移和适应”(TANDA)方法,但此后进行了改进。
正如研究人员所解释的那样,他们使用了转移学习-一种在任务上进行预训练的AI模型(此处为单词序列预测)在另一项上进行微调(此处为答案选择)的技术-在预训练和源之间进行一个中间步骤模型及其对新领域的适应。在此中间步骤中,研究人员根据可公开获得的自然问题数据集对大型通用问答对的语言模型进行了微调,该数据集旨在训练阅读理解性问题。该语料库的修改版本(称为“答案选择NQ”)称为ASNQ,而是针对训练答案选择系统的任务量身定制的,它补充了目标领域中一小部分主题特定的问题和答案,进一步调整模型。
与所有深层神经网络一样,变形金刚包含排列在互连层中的神经元(数学功能),这些层传输来自输入数据的信号并缓慢调整每个连接的突触强度(权重)。这就是所有AI模型提取特征并学习进行预测的方式,但是Transformer的独特之处在于,每个输出元素都连接到每个输入元素。实际上,它们之间的权重是动态计算的。
研究人员说,他们的方法可以在目标数据上进行微调,而无需搜索超参数或AI模型的特征,例如层数,每层节点数以及训练算法的学习率,通常是通过反复试验确定的。这意味着它可以以很少的训练数据适应目标域,并且对目标域数据中的噪声(或错误)具有鲁棒性。另外,该过程中最耗时的部分(中间步骤)只需执行一次。
根据该团队的说法,该模型在WikiQA和TREC-QA上的平均平均精度分别达到92%和94.3%,比以前的记录分别为83.4%和87.5%有了显着改进。至于用来衡量正确答案接近榜首的概率的平均倒数排名,该系统的平均倒数排名为93.3%和97.4%,分别从84.8%和94%上升。
Alexa Search团队成员Alessandro Moschitti在博客中写道:“过去几年在语言模型的设计方面取得了长足的进步,语言模型是基于语言的AI系统的关键组成部分。” “语言模型可用于计算单词的任何给定序列(甚至不连续序列)的概率,这在自然语言处理中很有用。”