Facebook详细介绍了Instagram Explore背后的AI技术

 
根据Facebook的说法，Instagram大约10亿用户中，超过一半的人每月都访问Instagram Explore来发现视频，照片，实时流媒体和Stories。可以预见，构建基础的推荐引擎(负责整理上传到Instagram的数十亿条内容)构成了工程难题，尤其是因为它实时工作。
在今天早上发布的博客文章中，Facebook首次揭开了Explore内部运作的帷幕。该公司称，它的分三部分的分级漏斗是使用自定义查询语言和建模技术构建的，它提取了650亿个特征并每秒做出9000万个模型预测。那只是冰山一角。
在Explore背后的团队开始构建内容推荐系统之前，他们开发了工具来进行大规模实验并获得有关用户兴趣范围的强烈信号。其中第一个是IGQL，它是一种元语言，它提供了在一个地方组装候选算法所需的抽象级别。
Facebook表示，IGQL在C ++中进行了优化，可在不牺牲可扩展性的情况下最大程度地减少延迟和计算资源。它经过统计验证和高级验证，使工程师能够以“类似Python”的方式编写推荐算法。它补充了帐户嵌入组件，该组件可帮助识别局部相似的配置文件，并将其作为侧重于帐户级信息的检索管道的一部分。
框架-Ig2vec-将用户与之交互的Instagram帐户视为句子中的单词序列，从而通知用户可能与之交互的模型预测。 (Facebook指出，与随机帐户相比，会话中与之交互的一系列帐户在局部上更具有连贯性。)同时，Facebook的AI相似性搜索最近邻居检索库(FAISS)基于嵌入中使用的指标来查询数百万个帐户训练。
训练分类器系统以仅基于嵌入来预测一组帐户的主题，当与人工标记的主题进行比较时，该系统就可以明显看出嵌入如何很好地捕获主题相似性。这是重要的一步，因为检索与用户表示感兴趣的帐户类似的帐户有助于缩小按个人资料排名的广告资源。
根据Facebook的说法，在Explore中基于兴趣对帐户进行排名需要预测每个人的最相关内容，并产生了轻量级排名提炼模型，该模型在将候选人传递给复杂的排名模型之前对其进行了预选。使用具有较复杂模型的特征和输出的候选输入形式的知识，较简单的模型会尝试通过直接(和间接)学习来尽可能近似主排名模型。
根据设计团队的调查，探索包括两个主要阶段：候选人生成阶段(也称为采购阶段)和排名阶段。
在候选者生成阶段，Explore会挖掘用户以前与之交互过的帐户，以识别感兴趣的“种子帐户”。它们只是兴趣相同的帐户的一小部分，但与上述嵌入功能结合使用时，它们可以帮助识别局部相似的帐户。
了解可能吸引用户的帐户是迈向确定哪些内容可能会浮出水面的第一步。 IGQL允许将不同的候选源表示为不同的子查询，这使Explore可以在多种类型的源中为普通人找到成千上万的合格候选者。
为了确保推荐的内容安全并适合所有年龄段的用户，信号将用于过滤可能不符合要求的内容。算法通常在为每个用户建立清单之前检测并过滤垃圾邮件和其他内容。
如果有迹象表明Facebook最新的社区标准执行报告，这些过滤系统将非常有效。该网络表示，在2019年第三季度，删除了涉及自残和自残的84.5万条内容，其中主动检测到79.1%，在过去四个季度中删除了超过99%的儿童裸体和剥削职位。
对于每个“探索”排名请求，将从数千个采样样本中选择500个候选人，并将其传递到排名阶段。他们在那里遇到了一个由三部分组成的基础架构，旨在平衡相关性和计算效率。
在排名阶段的第一阶段，蒸馏模型以最少的功能模拟了其他阶段的组合。它从500个最优质和最相关的候选者中选出一个，然后，具有完全密集特征集的模型(在第二阶段)选择前50个候选者。最后，另一个具有全套功能的模型将选择25个最佳候选者，这些候选者将填充“探索”网格。
有时，首过蒸馏模型会按照排名顺序模仿其他两个阶段。该修补程序是一种多任务，多层算法，可捕获信号以预测人们可能对内容采取的行动，从诸如点按“喜欢”或“收藏夹”之类的积极动作到诸如点按“查看像这样的较少帖子”按钮之类的负面动作。使用值模型公式组合预测，以捕获突出程度，然后加权和确定例如保存职位的人员的重要性是否比他们喜欢职位的重要性高。
为了在新内容和现有内容之间保持“丰富的平衡”，Explore团队将一条规则纳入上述价值模型中，以促进内容多样性。通过添加罚款因子，它降低了来自同一作者或种子帐户的帖子的排名，因此用户不会在资源管理器中看到来自同一个人或同一种子帐户的多个帖子。
博客作者写道：“我们以后代的方式根据每个排名候选者的最终价值模型得分对最相关的内容进行排名。” “建立Explore的最激动人心的部分之一是寻找新的有趣方式来帮助我们的社区发现Instagram上最有趣和最相关内容的持续挑战。无论是通过将诸如Stories [或]入口点之类的媒体格式添加到新类型的内容(如购物信息和IGTV视频)中，我们都在不断发展Instagram Explore。”