Google发布TyDi QA，该数据集旨在捕获语言的独特性

 
Google希望刺激能够理解语言表达不同含义的方式的AI的发展。为此，公司研究人员今天详细介绍了一个数据集-TyDi QA，这是一种涵盖11种语言的问答数据集-受类型多样性的启发，或不同语言以结构上独特的方式表达含义的观念的启发。
TyDi QA是Google去年发布的英语自然问题语料库的补充，它试图捕获日语和阿拉伯语等舌头的特质和特征。研究人员指出，例如，英语将单词改为指示一个对象(“书”)，而不是许多(“书”)，而阿拉伯语则用第三种形式表示是否有两个对象(“كتابان”，kitaban )，而不仅仅是单数(“كتاب”，kitab)或复数(“كتب”，kutub)。
Google研究科学家乔纳森·克拉克(Jonathan Clark)在博客中写道：“由于我们为此语料库选择了一组在类型上彼此相距遥远的语言，因此我们希望模型在此数据集上表现良好，可以对世界上大量语言进行概括。发布。
TyDi QA包括来自表示语言现象和数据挑战“多种范围”的语言的200,000多个问题对，其中许多使用非拉丁字母(例如阿拉伯语，孟加拉语，韩语，俄语，泰卢固语和泰语)和形式复杂形式的字词(包括阿拉伯语，芬兰语，印度尼西亚语，斯瓦希里语和俄语)。语言的范围也很广，从网络上可用数据丰富的语言(英语和阿拉伯语)到很少的语言(孟加拉语和斯瓦希里语)。
Google TyDi质量检查
这些问题是从想要答案但还不知道答案的人那里收集的，目的是找出与该单词相同的原始问题。为了激发问题，研究人员向参与者展示了以他们的母语编写的Wikipedia段落。然后，他们让他们提出一个问题-任何问题-只要段落没有回答并且他们实际上想知道答案。 (即，“冰上的一段话会让您想到夏天的冰棍吗?太好了!请问谁发明了冰棍。”)重要的是，这些问题是直接用每种语言写的，而不是翻译的，因此许多问题与英语为第一语料库。 (例如সফেদা或“人心果的味道如何?”)
对于每个问题，研究人员都用适当的语言对最匹配的Wikipedia文章进行了Google搜索，并要求一个人在该文章中找到并突出显示答案。在某些语言中，他们发现单词在问答中的表示方式非常不同-如此不同，以至于他们希望设计一种能够成功地从Wikipedia文章中选择答案的系统将是一个挑战。
为了跟踪社区的进度，他们建立了一个排行榜，参与者可以评估他们的机器学习系统的质量。 Clark写道：“我们希望该数据集能够推动研究领域的创新，从而为世界各地的用户创建更有用的问答系统。”