传感器内计算可加快机器视觉

 
通过应用模拟数据的传感器内计算，维也纳工业大学光子研究所的一组研究人员开发了一种加快机器视觉的方法。在发表于《自然》杂志上的论文中，该小组描述了他们的设计及其在测试过程中的表现。香港理工大学的Yang Chai在同一期杂志上发表了一篇新闻与观点文章，描述了该团队的工作。
在当前技术下，机器视觉是使用基本系统执行的，该基本系统包括具有对光做出响应的图像传感器的设备。来自图像传感器的数据通过另一个设备从模拟信号转换为数字信号。然后，数字数据由本地或云中的另一个设备处理。该系统对于当前的应用程序来说相当不错，但是由于读取和处理大量图像数据方面的滞后性，因此不适用于将来的应用程序。在这项新的工作中，研究人员提出了一种新型的图像传感器，可以在有限的程度上处理模拟数据。
奥地利团队设想的图像传感器包括将三极光电二极管以某种方式嵌入芯片中，该方式允许使用施加的电压来增加或降低其对光的敏感度，该设置允许对每个二极管进行单独调整或加权。在这种设置中，二极管的作用类似于人眼中的神经。将图像呈现给设备时，所有二极管都会根据其调整做出反应，它们一起充当网络视觉处理器。当光到达传感器时，通过添加构成传感器阵列的每一列和每一行的光强度来对其进行处理。然后根据期望的结果通过分别调整每个成员来训练二极管阵列以完成一项任务。最初的学习阶段需要花费少量时间，但是一旦对网络进行了训练，就可以以等于光电二极管反应时间的速率进行处理。
研究人员设想的设备并非要产生图像。相反，它过滤掉不必要的数据并执行一些初始排序。为了测试它，研究人员教他们的设备对三个简化字母进行排序。他们还使用它根据给定图像的关键特征进行了一些非常基本的自动编码。他们指出，他们的设计和设备仍处于概念验证阶段，但表示迄今为止的发现令人鼓舞。