研究人员开发出可区分讽刺和假新闻的AI

 
您如何区分讽刺和虚假新闻?通常可以归结为语义和语言上的差异，但细微差别可能很难发现。因此，乔治华盛顿大学，亚马逊AWS AI以及初创公司AdVerifai的研究人员研究了一种机器学习方法来对误导性语音进行分类。他们说，他们开发的AI模型优于基线，为研究其他语言功能奠定了基础。
他们的工作遵循了麻省理工学院计算机科学与人工智能实验室(CSAIL)的工作，该实验室于今年初设计了一个AI模型，该模型可以确定来源是准确的还是有政治偏见的。在随后的工作中，MIT CSAIL使用了世界上最大的事实检查数据集之一来开发可以检测错误陈述的自动化系统。
该论文的共同作者指出，为减少错误信息的传播而进行的努力有时会导致对合法讽刺作品的标记，特别是在社交媒体上。使事情复杂化的是，一些虚假的新闻传播者已开始伪装成讽刺网站。这些发展当然会威胁到合法发行商的业务，这些业务可能难以通过讽刺来货币化，但也影响了消费者的体验，他们可能会错过分类错误的内容。
研究人员假设，文本连贯性的度量可能有助于捕获故事句子之间的语义相关性。为此，他们使用了由Coh-Metrix实施的一组与文本统计相关的索引，该工具是生成语言和话语表示的工具。总共有108个，包括(但不限于)单词和句子的数量;指称内聚，指内容词在句子之间的重叠;各种文本可读性公式;和不同类型的连接词。
研究人员利用一种称为主成分分析的统计技术，将潜在的相关指标转换为不相关的变量(或主成分)，并将其用于两个逻辑回归模型(对某些类别的概率进行建模的函数)，并使用伪造和讽刺的标签对其进行依赖。变量。接下来，他们在一个包含283个虚假新闻故事和203个经手工验证的讽刺故事的语料库上评估了模型的性能。
研究小组报告说，在“重要”指标上进行训练的分类器的性能优于基线F1分数，F1分数是衡量假阳性和阴性率的指标。表现最佳的算法得分为0.78(满分为1)，同时表明讽刺文章比假新闻更趋于成熟(且不易阅读)。
在未来的工作中，研究人员计划研究语言线索，例如荒谬，不协调和其他与幽默相关的特征。
他们写道：“总体而言，我们的贡献，以及提高的分类准确度和对假新闻与讽刺之间细微差别的理解，对打击虚假信息同时保护言论自由的微妙平衡具有重大意义。”