IBM的AI使用语义内容创建新的标记图像集

 
在定于计算机视觉和模式识别(CVPR)年度会议期间下周提交了一份文件，科学家在IBM，特拉维夫大学和Technion工业描述了一种新的AI模型设计 – 标签，设置操作(拉索)网络 – 设计到双标记的图像的例子(例如，狗的PIC注释“狗”和羊注明“绵羊”)来创建合并的种子图像标签(狗和绵羊的单个PIC注释的新的例子结合“狗“和”羊“)。共同作者认为，未来，LaSO网络可用于增加缺乏足够真实数据的语料库。
“我们的方法能够生成含有两个输入样本中存在的标记的样本，”研究人员写道。 “提出的方法也可能对有趣的视觉对话用例有用，用户可以通过指出或显示她喜欢或不喜欢的视觉示例来操纵返回的查询结果。”
LaSO网络学习操纵给定样本的标签集并合成对应于组合标签集的新标签集，将不同类型的输入照片作为输入照片并在隐含地从另一样本中移除一个样本中存在的概念之前识别共同语义内容。 (在老挝网络A“联合”操作将导致在标有“人”，“狗”，“猫”和“羊，”例如合成示例，而“交叉点”和“减法”的操作都会导致例子分别标有“人”和“狗”或“羊”独，)。因为AI模型直接放在图像表示操作，不需要额外的输入来控制操作，他们能够推广到含有间没有图像类别”在培训期间看到。
正如研究人员所解释的那样，在少数学习中 – 通过非常少量的训练数据喂养AI模型的做法 – 通常只有一个或非常少量的每个类别的样本可用。图像分类域中的大多数方法仅涉及单个标签，其中每个训练图像仅包含一个对象和对应的类别标签。一个更具挑战性的场景 – 团队论文调查的场景 – 是多标签的小镜头学习，其中训练图像包含多个类别标签中的多个对象。
研究人员将几个LaSO网络作为单个多任务网络联合训练在语料库上，每个图像有多个标签映射到该图像上出现的对象。然后，他们通过使用在多标签数据上预训练的分类器来评估网络对输出示例进行分类的能力。在一个单独的几次学习实验中，该团队利用LaSO网络从随机配对的少数提供的训练样例中生成了更多的例子，并设计了一个新的基准，用于多标签的少数分类。
“多标签的小镜头分类是一项新的，具有挑战性和实用性的任务。在提议的基准测试中使用神经网络评估LaSO标签集操作的结果表明，LaSO具有很好的潜力，可能用于其他有趣的应用，“研究人员在即将发表的博客文章中写道。 “我们希望这项工作能激励更多研究人员研究这个有趣的问题。”