人工智能如何透过镜面看到：镜子的另一面是不同的

镜子的另一面情况有所不同。

文字向后。时钟逆时针运行。汽车在错误的道路上行驶。右手变成左手。

康奈尔大学的一个研究小组对反射如何以微妙和不太微妙的方式改变图像产生了兴趣，他们使用人工智能研究了使原稿与反射区分开的原因。他们的算法学会了捕捉意外的线索，例如头发部位，凝视方向以及令人惊讶的胡须-这些发现对训练机器学习模型和检测伪造图像具有启示意义。

“宇宙不是对称的。康奈尔理工学院计算机科学副教授，《视觉手性》研究的高级作者诺亚·斯纳夫利（Noah Snavely）在2020年6月举行的2020年计算机视觉与模式识别会议上发表的论文中说：“如果你翻转图像，就会有差异。” 14-19。“您对通过新的信息收集方式可以发现的发现感到很感兴趣。”

林志基20岁是该论文的第一作者；共同作者是计算机科学助理教授安倍·戴维斯（Abe Davis）和康奈尔科技大学的博士后研究员JinSun。

Snavely说，区分原始图像和反射图像对于AI来说是一项非常简单的任务，基本的深度学习算法可以快速学习如何对图像进行分类，如果图像的翻转精度达到60％到90％，具体取决于所用图像的种类。训练算法。人们很难注意到它所汲取的许多线索。

研究人员发现，人工智能学会了从意想不到的线索中区分出原始图像和反射图像的方法。

在这项研究中，研究小组开发了创建热图的技术，该热图指示了算法感兴趣的图像部分，以深入了解其如何做出这些决策。

他们毫不奇怪地发现，最常用的线索是文本，在每种书面语言中向后看起来都不同。为了了解更多信息，他们从数据集中删除了带有文字的图像，并发现该模型关注的下一组特征包括手表，衬衫领子（按钮通常在左侧），面部和电话-大多数人往往掌握右手–以及其他显示右手性的因素。

该算法倾向于集中在人脸上，这对研究人员很感兴趣，这看起来似乎并不对称。“在某些方面，它留下的问题多于答案，” Snavely说。

然后，他们进行了另一项针对面部的研究，发现热量图在包括头发部位，眼睛凝视（大多数人出于研究人员不知道的原因，凝视肖像照片中的左侧）和胡须的区域上亮起。

Snavely说他和他的团队成员不知道该算法在胡须中发现了什么信息，但他们假设人们梳理或刮脸的方式可以显示出惯用的手感。

“这是视觉发现的一种形式，” Snavely说。“如果您可以在数以百万计的图像上大规模运行机器学习，也许您可​​以开始发现有关世界的新事实。”

研究结果表明，这些线索中的每一个可能都是不可靠的，但是该算法可以通过组合多个线索来建立更大的置信度。研究人员还发现，该算法使用源自相机处理图像的方式的低电平信号来做出决策。

尽管需要进行更多的研究，但是这些发现可能会影响机器学习模型的训练方式。这些模型需要大量的图像，以学习如何对图片进行分类和识别，因此计算机科学家经常使用现有图像的反射来有效地将其数据集增加一倍。

Snavely说，检查这些反射图像与原始图像有何不同可以揭示有关机器学习中可能导致结果不准确的偏见的信息。

“这为计算机视觉界带来了一个悬而未决的问题，那就是什么时候可以进行翻转以扩充您的数据集，什么时候不可以？”他说。“我希望这将使人们对这些问题有更多的思考，并开始开发工具以了解它如何使算法产生偏差。”

了解反射如何改变图像也可以帮助AI识别伪造或篡改的图像-这是互联网上日益引起关注的问题。

“如果您想确定某物是否真实，这也许是可以在图像取证领域中使用的新工具或新见解，” Snavely说。

###

参考：林志秋，孙劲，Abe Davis和Noah Snavely的“视觉手性”，2020年计算机视觉和模式识别会议.pdf

这项研究得到了Google前首席执行官慈善家埃里克·施密特（Eric Sc​​hmidt）和温迪·施密特（Wendy Schmidt）的部分支持。