一种基于草图检索图像的新模型

 
近年来，研究人员已经开发了越来越先进的计算技术，例如深度学习算法，以完成各种任务。他们一直试图解决的一项任务称为“基于草图的图像检索”(SBIR)。
SBIR任务需要根据人类用户绘制的草图在广泛的馆藏或数据库中检索特定对象或视觉概念的图像。为了使这项任务自动化，研究人员一直在尝试开发可分析人类草图并识别与草图相关或包含相同对象的图像的工具。
尽管其中一些工具取得了令人鼓舞的结果，但迄今为止，开发出在SBIR任务上始终表现良好的技术已证明具有挑战性。这主要是由于抽象草图和真实图像之间存在明显的视觉差异。例如，人类绘制的草图经常变形和抽象，这使得它们更难以与真实图像中的对象相关。
为了克服这一挑战，天津大学和中国北京邮电大学的研究人员最近开发了一种基于神经网络的体系结构，该体系结构可以学习区分性的跨域特征表示，以进行基于草图的图像检索(SBIR)任务。他们创建的技术发表在arXiv上的一篇论文中，该技术结合了多种计算技术，包括半异构特征映射，联合语义嵌入和共同注意模型。
研究人员在论文中写道：“关键的洞察力在于我们如何培养草图，自然图像和边缘图之间的相互和微妙的关系。” “半异构特征映射旨在从每个域中提取底部特征，其中草图和边缘图分支是共享的，而自然图像分支与其他分支是异类的。”
研究人员设计的模型是半异构三向联合嵌入网络(Semi3-Net)。除了半异构映射外，它还使用一种称为联合语义嵌入的技术。语义嵌入允许网络将来自不同域(例如，来自草图或照片)的特征嵌入到通用的高级语义空间中。 Semi3-Net还包含一个共同注意模型，该模型旨在重新校准从两个不同域提取的特征。
最后，研究人员设计了一种混合损耗机制，可以计算草图，边线图和自然图像之间的相关性。这种机制允许Semi3-Net模型学习在两个域之间不变的表示形式(即使用相机拍摄的草图和图像)。
研究人员使用Sketchy和TU-Berlin Extension的数据对Semi3-Net进行了培训和评估，这两个数据集在专注于SBIR任务的研究中被广泛使用。 Sketchy数据库包含75,471个草图和12,500个自然图像，而TU-Berlin Extension包含204,489个自然图像和20,000个手绘草图。
到目前为止，Semi3-Net在研究人员进行的所有实验中均表现出色，优于SBIR的其他最新模型。该团队现在正计划继续研究该模型并进一步提高其性能，甚至可能对其进行调整以解决需要连接来自不同域的数据的其他问题。
研究人员在论文中写道：“将来，我们将专注于将建议的跨域网络扩展到细粒度图像检索，并学习素描图像对的细粒度细节的对应关系。”