蒙娜丽莎皱眉：机器学习将旧画和照片变为现实

 
据悉，机器学习研究人员已经制作了一个系统，可以从一个人的脸部只有一个帧重建逼真的动作，开启了动画的可能性，不仅仅是照片，还有绘画。它并不完美，但是当它起作用时，它就像 – 现在的AI工作一样 – 令人毛骨悚然，令人着迷。

 
该模型记录在三星AI中心发布的论文中，您可以在此处阅读Arxiv。这是一种在源面上应用面部标志的新方法 – 任何说话头都可以 – 对目标面部的面部数据进行应用，使目标面部执行源面所做的事情。
这本身并不新鲜 – 它是目前AI世界面临的整个合成图像问题的一部分(我们最近在伯克利的机器人+ AI活动中对此进行了有趣的讨论)。我们已经可以在一个视频中制作一张脸，反映出另一个人面对的是什么或者他们在哪里。但是大多数这些模型需要大量数据，例如一分钟或两分钟的视频需要分析。
然而，三星莫斯科研究人员发表的新论文表明，只使用一个人脸的单个图像，就可以产生一个视频转换，说话和表达普通表达的视频 – 虽然远非完美无瑕，但却具有令人信服的表现力。
它通过使用大量数据前载面部地标识别过程来实现这一点，使得模型高效地找到与源相对应的目标面部分。它拥有的数据越多越好，但它可以通过一个图像(称为单次镜头学习)来实现，并且可以避免它。这就是为什么能够拍摄爱因斯坦或玛丽莲梦露，甚至是蒙娜丽莎的照片，让它像真人一样移动和说话。
在这个例子中，蒙娜丽莎使用三个不同的源视频进行动画制作，正如您所看到的，在面部结构和行为方面产生了截然不同的结果。
它也使用了所谓的生成对抗网络，它实际上将两个模型相互对立，一个试图欺骗另一个模型，使其认为它创造的是“真实的”。通过这些方式，结果满足创造者设定的某种程度的现实主义。 – 例如，“鉴别者”模型必须是90%确定这是继续进程的人性面孔。
在研究人员提供的其他例子中，假谈话头的质量和显而易见性差异很大。有些人试图复制一个人从有线电视新闻中获取图像的人，也会重新创建图像底部显示的新闻自动收报机，并用乱码填充。如果你知道要寻找什么，通常的涂片和奇怪的文物是无所不在的。
也就是说，它的表现和它一样好。但请注意，这只适用于脸部和上半身 – 你不能让蒙娜丽莎用手指或跳舞。不管怎样，还没有。