麻省理工学院的新神经网络：“液体”机器学习系统适应不断变化的条件

新型的神经网络可以帮助自动驾驶和医疗诊断方面的决策。

麻省理工学院的研究人员已经开发了一种在工作中学习的神经网络，而不仅仅是在培训阶段。这些被称为“液体”网络的灵活算法会更改其基本方程，以不断适应新的数据输入。这一进步可以帮助根据随时间变化的数据流做出决策，包括那些涉及医疗诊断和自动驾驶的数据流。

研究的主要作者拉米·哈萨尼（Ramin Hasani）表示：“这是未来机器人控制，自然语言处理，视频处理-任何形式的时间序列数据处理的前进方向。”“潜力确实很大。”

这项研究将在2月份的AAAI人工智能会议上进行。除了Hasani，麻省理工学院计算机科学与人工智能实验室（CSAIL）的博士后，麻省理工学院的合著者还包括CSAIL主任Daniela Rus，电气工程和计算机科学的Andrew and Erna Viterbi教授以及博士生Alexander Amini。其他合著者包括奥地利科学技术学院的Mathias Lechner和维也纳工业大学的Radu Grosu。

哈萨尼说，时间序列数据对于我们了解世界来说无处不在，而且至关重要。“现实世界全都与序列有关。甚至我们的感知-您不是在感知图像，而是在感知图像序列，”他说。“因此，时间序列数据实际上创造了我们的现实。”

他指出视频处理，财务数据和医疗诊断应用程序是对社会至关重要的时间序列示例。这些不断变化的数据流的沧桑可能是不可预测的。然而，实时分析这些数据，并使用它们来预测未来的行为，可以促进自动驾驶汽车等新兴技术的发展。因此，哈萨尼（Hasani）建立了适合该任务的算法。

Hasani设计了一种神经网络，可以适应现实世界系统的可变性。神经网络是通过分析一组“训练”示例来识别模式的算法。人们通常说它们模仿了大脑的加工路径-Hasani直接从显微镜的线虫C中汲取了灵感。线虫。他说：“它的神经系统只有302个神经元，但它却可以产生意想不到的复杂动力。”

Hasani对他的神经网络进行了编码，并特别注意howC。 elegansneurons通过电脉冲激活并彼此通信。在他用来构造神经网络的方程式中，他基于一组嵌套微分方程的结果，允许参数随时间变化。

这种灵活性是关键。大多数神经网络的行为在训练阶段之后是固定的，这意味着它们很难适应传入数据流中的变化。哈萨尼说，他的“液体”网络的流动性使其对意外或嘈杂的数据更具弹性，就像大雨遮挡了自动驾驶汽车上摄像机的视线一样。他说：“所以，它更坚固。”

他补充说，网络灵活性的另一个优势是：“这更容易解释。”

哈萨尼说，他的液体网络避开了其他神经网络常见的难解性。Hasani使用微分方程所做的“只要改变神经元的表示，就可以真正探索出某种程度的复杂性，而这些复杂性是其他方法所无法企及的。”由于Hasani的高表达神经元数量很少，因此更容易窥视网络决策的“黑匣子”并诊断网络为何具有特定特征。

哈萨尼说：“模型本身在表达能力方面更丰富。”这可以帮助工程师了解并改善流动网络的性能。

Hasani的网络在一系列测试中表现出色。在准确预测数据集的未来值（从大气化学到交通模式）方面，它使其他最新的时间序列算法的优势降低了几个百分点。他说：“在许多应用中，我们看到性能确实很高。”此外，该网络的规模小，意味着它无需花费高昂的计算成本即可完成测试。“每个人都在谈论扩大他们的网络，”哈萨尼说。“我们希望按比例缩小规模，以减少节点数量，但增加节点数量。”

Hasani计划继续改进该系统，并准备将其投入工业应用。“我们拥有一个受自然启发的更具表现力的神经网络。但这仅仅是该过程的开始。”他说。“显而易见的问题是，如何扩展这一范围？我们认为这种网络可能是未来情报系统的关键要素。”

参考：Ramin Hasani，Mathias Lechner，Alexander Amini，Daniela Rus和Radu Grosu的“液态时间常数网络”，2020年12月14日，计算机科学>机器学习。
2006.04439v4

这项研究部分由波音公司，美国国家科学基金会，奥地利科学基金会以及欧洲领先的电子元件和系统资助。