可以学习并了解所见事物的智能相机

得益于布里斯托尔大学和曼彻斯特大学之间的研究合作，智能相机可以迈出更近一步，他们开发了可以学习和理解他们所看到的东西的相机。

机器人专家和人工智能（AI）研究人员知道当前系统如何感知和处理世界存在问题。目前，他们仍在将传感器（例如用于记录图像的数码相机）与设计用于加速视频游戏图形的图形处理单元（GPU）等计算设备相结合。

这意味着AI系统只有在传感器和处理器之间记录并传输可视信息后才能感知世界。但是可以看到的许多事情通常与手头的任务无关，例如自动驾驶汽车经过时路旁树上的叶子的细节。但是，此刻所有这些信息都被传感器细致地捕获并发送给不相关的数据，从而阻塞了系统，消耗了功率并占用了处理时间。为了使智能机器具有高效的视觉效果，必须采用其他方法。

布里斯托尔和曼彻斯特合作社的两篇论文展示了如何将感测和学习相结合以创建用于AI系统的新颖相机。

SCAMP-5D视觉系统上的卷积神经网络（CNN）以每秒8200帧的速度对手势进行分类。

布里斯托大学的机器人学，计算机视觉和移动系统教授，首席研究员（PI）的Walterio Mayol-Cuevas评论：“要创建有效的感知系统，我们需要超越目前为止遵循的方式来突破界限。

“我们可以从自然系统处理视觉世界的方式中汲取灵感-我们无法感知所有事物-我们的眼睛和大脑共同协作以了解世界，在某些情况下，眼睛本身也可以通过处理来帮助大脑减少视觉变化不相关。”

SCAMP-5d视觉系统。

青蛙的眼睛具有直接在感测图像的点上发现苍蝇状物体的检测器，就可以证明这一点。

这些论文由布里斯托尔的劳里·博斯博士（Laurie Bose）博士领导，另一篇由亚里安·刘安南（Yanan Liu）博士领导，揭示了实现这一目标的两个改进方案。通过实现卷积神经网络（CNN），这是一种AI算法的形式，可直接在图像平面上实现视觉理解。团队开发的CNN可以以每秒数千次的速度对帧进行分类，而无需记录这些图像或将其发送到处理管道。研究人员考虑了对手写数字，手势甚至浮游生物进行分类的演示。

研究表明，智能专用AI摄像机将是一个未来之举-视觉系统可以将高级信息简单地发送到系统的其余部分，例如在摄像机前发生的物体或事件的类型。这种方法将使系统更加高效和安全，因为无需记录任何图像。

曼彻斯特大学电路与系统教授和PI的皮特·杜德克（Piotr Dudek）开发的SCAMP体系结构使这项工作成为可能。SCAMP是摄像头处理器芯片，该团队将其描述为像素处理器阵列（PPA）。PPA在每个像素中都嵌入了一个处理器，该处理器可以相互通信以真正并行的形式进行处理。这是CNN和视觉算法的理想选择。

SCAMP-5d的硬件架构。它包含一个256 x 256 PPA像素处理器阵列，每个像素处理器包含光传感器，本地存储寄存器和其他功能组件。

杜德克教授说：“像素级的感测，处理和内存的集成不仅可以实现高性能，低延迟的系统，而且还有望提供低功耗，高效的硬件。

“ SCAMP器件可以用类似于当前相机传感器的封装来实现，但具有在图像捕获时就具有通用的大规模并行处理器的能力。”

布里斯托大学飞行力学高级讲师Tom Richardson博士也是该项目的成员，他一直在将SCAMP体系结构与轻型无人机相集成。

他解释说：这些摄像机令人兴奋的不仅是新兴的机器学习功能，还在于它们的运行速度和轻巧的配置。它们绝对是可以在飞行中真正学习的高速，高度敏捷的空中平台的理想选择！

由工程和物理科学研究委员会（EPSRC）资助的这项研究表明，对AI系统设计时存在的假设提出质疑非常重要。可以并且应该将诸如摄像机之类的常被视为理所当然的事物进行改进，以实现更高效的智能机器的目标。

参考：

Laurie Bose，Chening Chen，Stephen J.Carey，Piotr Dudek和Walterio Mayol-Cuevas撰写的“在像素处理器阵列上完全嵌入快速卷积网络”在2020年欧洲计算机视觉会议（ECCV）上发表

刘延安，劳里·玻色，陈建宁，斯蒂芬·凯里，皮特·杜德克，沃尔特里奥·梅奥尔·奎瓦斯在英国机器视觉会议（BMVC）上发表了“通过像素处理器阵列上的卷积卷积进行的高速轻量级CNN推理” 2020年