Facebook的3D照片功能现在可以模拟任何图像的深度

 
在2018年末，Facebook推出了3D照片，该功能利用深度数据创建看起来很平坦的图像，但可以使用虚拟现实(VR)头显通过网络上的Facebook或Facebook的移动应用程序从不同角度对其进行检查。最初，它需要在台式机或双摄像头手机(如Galaxy Note10或iPhone 11)上使用深度图文件，但从今天开始，3D Photos可以与任何带有单个摄像头的现代手机兼容，特别是iPhone 7或更高版本，中端或更高版本Android设备。
Facebook说，“最先进的”机器学习技术使扩展的电话支持成为可能。新部署的AI模型可以推断没有深度数据的图像3D结构，而不管图像的年龄或来源如何。它甚至适用于自拍照，绘画和复杂场景。 Facebook在博客中写道：“这一进步使3D照片技术首次易于使用单镜头照相手机或平板电脑的数百万人使用。” “通过将它们转换为3D，它还允许每个人以新的方式体验几十年前的家庭照片和其他珍贵的图像。”
发布后，任何Facebook用户都可以查看3D照片，也可以通过Oculus Go上的Oculus浏览器或Oculus Rift上的Firefox在VR中查看。您还可以通过Facebook Stories分享这些照片，这些照片会在24小时后消失，就像与分享到Facebook News Feed的3D照片一样，您可以查看谁在查看，回应和回应他们。但是有限制。无法编辑3D照片，并且如果您要共享3D照片，则不能将多张照片添加到信息中。无法将3D照片添加到相册中，并且如果您要从Page中发布3D照片，则将无法对其进行放大或将其用于广告中。
Facebook表示，改善3D照片需要克服一系列技术挑战，包括(但不限于)训练一个模型，该模型可以正确地猜测物体从不同角度看起来的外观，并且可以在不到一秒钟的时间内在典型的移动处理器上运行。 ” 3D照片小组决定使用卷积神经网络，并在数百万对3D图像及其随附的深度图上对其进行了训练，之后，他们使用了受FBNet(资源受限环境的一系列模型)启发的构建块来优化模型用于移动设备。
为了找到最佳的架构配置，3D Photos团队采用了一种自动流程，该流程使用了由Facebook AI Research开发的称为ChamNet的算法。 ChamNet迭代地从搜索空间中采样点以训练精度预测器，从而加速了对模型的搜索，该模型在满足资源约束的同时最大化了准确性。据Facebook称，使用800张Nvidia Tesla V100显卡对新型3D照片的模型进行了大约三天的搜索。
为了减少首次使用时必须传输到各种设备的字节数，3D照片小组量化(或将较大的值映射为较小的值)的权重(将分层的AI模型中的神经元连接起来的系数)和激活(确定模型的输出，精度和效率)到8位。 (这只需要原始重量和激活占用的存储空间的四分之一。)量化意识的培训通过模拟培训过程中的量化，消除了培训和生产之间的差距，帮助防止质量下降，而8位操作员(构造与原始的较大型号相比，性能更高)。
Facebook说，将来，它将打算将这些技术应用于移动设备拍摄的视频的深度估计。此外，它计划在增强现实等实时应用中探索利用深度估计，表面法线估计和空间推理的优势。 “视频构成了一个值得注意的挑战，因为每个帧的深度必须与下一帧的深度一致。但这也是提高性能的机会，因为对同一物体的多次观察可以为高度准确的深度估计提供额外的信号。” “除了这些潜在的新体验，这项工作将有助于我们更全面地理解2D图像的内容。更好地理解3D场景还可以帮助机器人导航并与现实世界互动。”