哪张脸是真实的？使用频率分析来识别“深层伪造”图像

这种方法会暴露由计算机算法而不是人类创建的伪造图像。

它们看似看似真实，但它们是由计算机制成的：所谓的“伪造图像”是由机器学习算法生成的，人类几乎无法将它们与真实照片区分开。位于波鸿鲁尔大学的霍斯特·戈尔茨IT安全研究所和“大型对手时代的网络安全”卓越集群（Casa）的研究人员已经开发出一种有效识别深层伪造图像的新方法。为此，他们分析频域中的对象，这是一种已建立的信号处理技术。

频率分析揭示了计算机生成图像中的典型伪像。

该团队在2020年7月15日的国际机器学习会议（ICML）上介绍了他们的工作，这是机器学习领域的领先会议之一。此外，研究人员可以免费在线获取他们的代码*，以便其他小组可以重现他们的结果。

两种算法的相互作用产生新图像

虚假图像是“深度学习”中机器学习和“虚假”的代名词，是在计算机模型（简称为GENsative Adversarial Networks，简称GAN）的帮助下生成的。在这些网络中，两种算法协同工作：第一种算法根据某些输入数据创建随机图像。第二种算法需要确定图像是否是伪造的。如果发现图像是伪造的，则第二种算法会向第一种算法发出修改图像的命令-直到不再将其识别为伪造的为止。

以波鸿为基地的研究团队的成员包括：Thorsten Holz，LeaSchönherr，Joel Frank和Thorsten Eisenhofer（从左到右）。

近年来，这种技术已帮助使伪造的图像越来越真实。在网站上**，用户可以检查他们是否能够区分伪造品和原始照片。“在虚假新闻时代，如果用户没有能力将计算机生成的图像与原始图像区分开，那就可能是个问题，”系统安全主席索斯滕·霍尔兹（Thorsten Holz）教授说。

为了进行分析，基于波鸿的研究人员使用了数据集，这些数据集也构成了上述页面“哪张脸是真实的”的基础。在这个跨学科项目中，系统安全主席的Joel Frank，Thorsten Eisenhofer和Thorsten Holz教授与机器学习主席的Asja Fischer教授以及LeaSchönherr教授和数字信号处理主席的Dorothea Kolossa进行了合作。

频率分析揭示了典型的伪像

迄今为止，已经使用复杂的统计方法分析了伪造的图像。波鸿（Bochum）组通过使用离散余弦变换将图像转换到频域中，从而选择了另一种方法。因此，生成的图像表示为许多不同余弦函数的总和。自然图像主要由低频功能组成。

变换到频域的人物图像：左上角代表低频图像区域，右下角代表高频区域。在左侧，您可以看到真实人物照片的变换：频率范围是均匀分布的。计算机生成的照片的转换（右）包含一个在高频范围内的典型网格结构-一个典型的伪像。

分析表明，GAN生成的图像在高频范围内显示出伪影。例如，典型的网格结构出现在伪造图像的频率表示中。“我们的实验表明，这些伪影不仅出现在GAN生成的图像中。它们是所有深度学习算法的结构性问题，”系统安全主席Joel Frank解释说。“我们认为研究中描述的伪影将始终告诉我们该图像是否是由机器学习创建的伪造图像，” Frank补充道。“因此，频率分析是自动识别计算机生成图像的有效方法。”

###

参考：Joel Frank，Thorsten Eisenhofer，Lea Schonherr，Asja Fischer，Dorothea Kolossa和Thorsten Holz撰写的“利用频率分析进行深层伪造图像识别”，2020年，国际机器学习会议（ICML）.PDF

笔记

*代码可从GitHub获得。

** 网站：哪个FaceIsReal.com