Facebook的SlowFast视频分类器AI受灵长类动物眼睛启发

 
灵长类动物的视网膜神经节细胞从感光器接收视觉信息，然后从眼睛传递到大脑。但是，并非所有单元的创建都是相等的-估计有80%的单元在低频下运行并识别精细的细节，而约20%的单元则对快速变化做出了响应。这种生物学上的二分法激发了Facebook AI Research的科学家去追求他们所谓的SlowFast。这是一种用于视频识别的机器学习架构，他们声称可以对动作分类和镜头中的检测达到“强大的性能”。
GitHub上提供了Facebook PyTorch框架PySlowFast的实现以及受过训练的模型。
正如研究小组在预印本论文中指出的那样，从统计学上讲，慢动作发生得比慢动作快得多，并且可以缓慢刷新对颜色，纹理和照明等语义的识别，而不会影响准确性。另一方面，以较高的时间分辨率(即，使用更多帧)来分析执行的动作(例如拍手，挥手，摇动，步行或跳跃)是有益的，因为它们的运动速度快于对象的身份。
这就是SlowFast的用武之地。它包括两条路径，其中一条以较低的帧速率和缓慢的刷新速度运行，经过优化，可捕获少量图像或稀疏帧提供的信息。相反，另一条路径以快速刷新速度和高时间分辨率捕获快速变化的运动。
研究人员断言，通过以不同的时间速率处理原始视频，SlowFast允许其两条途径发展自己的视频建模专业知识。较慢的路径会更好地识别帧中不变或变化缓慢的静态区域，而较快的路径会学会可靠地在动态区域中暂缓动作。
两条路径的信息融合在一起，从而使快速路径的数据通过整个网络中的横向连接馈入慢速路径。这允许慢速路径了解快速路径的结果，并且允许将结果串联到完全连接的分类层中。
为了评估SlowFast的性能，该团队在两个流行的数据集上测试了该模型：DeepMind的Kinetics-400和Google的AVA。前者包括来自成千上万个YouTube视频的短短10秒场景，至少400个视频中包含400种人类行为。另一方面，AVA包含430个15分钟带注释的YouTube视频以及80个带注释的视觉动作。
SlowFast在这两个数据集上均取得了最先进的结果，比Kinetics-400的最佳top-1得分高出5.1%(分别为79.0%和73.9%)和最佳的top-5得分高出2.7%(分别为93.6%和93.6%) 90.9%)。在AVA上，它还达到了28.3(mAP)的中值平均精度(与21.9 mAP的最新水平相比有实质性的提高)。有趣的是，但也许不足为奇，该论文的合著者指出，慢速通道的计算成本是快速通道的4倍。
研究人员写道：“我们希望这种SlowFast概念将促进视频识别的进一步研究……[我们已经证明] Fast通道可以通过减小其通道容量而变得非常轻巧，但可以学习有用的时间信息以进行视频识别。” 。 “时间轴是一个特殊的维度。本文研究了一种可对比沿该轴速度的架构设计。”