人工智能将模糊的像素化照片变成超逼真的肖像-自己尝试

该系统会自动将任何图像的分辨率提高到64倍，“想象”功能（如毛孔和睫毛）一开始就没有。

这种AI甚至可以将最模糊的照片变成高清的逼真的计算机生成的面孔。

杜克大学的研究人员开发了一种AI工具，可以将模糊，无法识别的人脸图片转换为令人信服的计算机生成肖像，其细节比以往任何时候都要精细。

以前的方法可以将一张脸部图像缩放到原始分辨率的八倍。但是Duke团队想出了一种方法，可以拍摄少量像素并创建分辨率高达64倍的逼真的面部，并“想象”细线，睫毛和残茬等功能，而这些功能在相机中是不存在的。第一名。

领导该团队的杜克大学计算机科学家辛西娅·鲁丁（Cynthia Rudin）说：“从来没有像现在这样拥有如此精细的细节才能创建超分辨率的图像。”

研究人员说，该系统不能用于识别人员。它不会将来自安全摄像机的散焦，无法识别的照片变成真实人物的水晶般清晰的图像。相反，它能够生成不存在但看起来真实的新面孔。

尽管研究人员将面部表情作为概念证明，但从理论上讲，相同的技术可以拍摄几乎所有物体的低分辨率照片，并创建清晰逼真的图像，其应用范围从医学，显微镜到天文学和卫星图像，应有尽有。作者Sachit Menon '20，他刚从杜克大学获得数学和计算机科学双学位。

研究人员将在6月14日至6月19日举行的2020年计算机视觉和模式识别（CVPR）会议上介绍名为PULSE的方法。

左侧的模糊照片几乎无法区分出眼睛和嘴唇等面部特征。放大60倍以上（右），这是一个不同的故事-多亏了人工智能。

传统方法会获取低分辨率的图像，并“猜测”平均需要与计算机之前看到的高分辨率图像中的相应像素相匹配的“多余”像素。这种平均的结果是，头发和皮肤中可能无法从一个像素到下一个像素完美对齐的纹理区域最终看起来模糊而模糊。

杜克大学团队提出了另一种方法。该系统不会搜索低分辨率的图像并慢慢添加新的细节，而是搜索AI生成的高分辨率脸部示例，在缩小到相同大小时搜索看起来尽可能像输入图像的脸部。

该团队在机器学习中使用了一种称为“生成对抗网络”的工具，即GAN，这是对同一张照片数据集进行训练的两个神经网络。一个网络提供了AI创建的人脸，该人脸模拟了受过训练的人脸，而另一个网络则获得了该输出，并确定它是否足以令人信服以至于被误认为是真实事物。第一个网络的经验会越来越好，直到第二个网络无法分辨出差异。

Rudin说，PULSE可以通过其他方法无法做到的嘈杂，低质量的输入来创建逼真的图像。从一张人脸的模糊图像中，它可以吐出任何数量的，栩栩如生的可能性，每种可能性看起来都像一个不同的人。

杜克大学数学专业的合著者亚历克斯·达米安20岁说，即使是给人眼与嘴巴几乎无法辨认的像素化照片，“我们的算法仍然可以做到这一点，这是传统方法无法做到的。”

该系统可以在几秒钟内×将一张1616像素的面部图像转换为1024 x 1024像素，增加了超过一百万的像素，类似于HD分辨率。在低分辨率照片中无法察觉的细节，例如毛孔，皱纹和发束，在计算机生成的版本中变得清晰明了。

研究人员要求40个人对通过PULSE和其他五种缩放方法生成的1,440张图像进行1到5的评分，而PULSE的效果最佳，其评分几乎与真实人的高质量照片一样高。

查看结果并在此处自己上传图像。

认识作者：Sachit Menon，Alex Damian，McCourt Hu，Nikhil Ravi和Cynthia Rudin。从单个模糊图像中，PULSE可能会生成异常逼真的肖像，这些肖像可能与真实人物略​​有不同，但比以前的方法要清晰得多。

参考：“脉冲：Sachit Menon，Alexandru Damian，Shijia Hu，Nikhil Ravi，Cynthia Rudin于2020年6月14日至19日在IEEE / CVF计算机视觉和模式识别国际会议（CVPR）上通过生成模型的潜在空间探索进行了自我监督的照片上采样。 arXiv：
2003.03808

这项研究得到了北卡罗来纳州洛德基金会和杜克大学计算机科学系的支持。