图像传感器运行神经网络!实现纳秒级时间内图像分类,或将推进边缘计算_欧冠买球网站

欧冠买球官网

欧冠买球官网|利用人工神经网络在纳秒时间内完成图像分类,已经成为现实。最近,奥地利维也纳理工大学光子学研究所博士Lukas Mennel开发的超高速机器视觉设备——,拥有自己的带神经网络的图像传感器,图像处理速度提高了几十万倍。

当地时间2020年3月4日,上述团队的一篇名为《2D材料神经网络图像传感器超快机器视觉》的研究论文发表在《大自然》期刊(自然)上。(微信官方账号:)了解到这个团队设计的视觉设备像大脑一样处理信息,分辨两幅不同的图像需要40纳秒。人工神经网络视觉是人类认识世界最重要的方式,它可以同时提供和分析图像。

机器视觉,不是受此启发,近年来方兴未艾。所谓机器视觉,就是用机器代替人眼进行测量和区分。但是,机器视觉不仅仅是人眼非常简单的延伸,它还是人脑功能的一部分——从图像中提取、处理和解释信息,可以用于实际的测量和控制。

就机器视觉技术本身而言,其主要过程是——摄像头逐行扫描像素,然后将视频帧转换成数字信号,再传输到计算机进行分析。但是没有问题,因为传感器和处理单元之间有大量数据的移动,信息不能被慢慢处理和决定,这就是机器视觉经常面临的延迟。

考虑到上述因素,研究小组将人工神经网络(ANN)引入图像传感器,可以同时提供和分析图像。就人工神经网络而言,它本质上是一个操作模型,由大量相互连接的节点(也称为神经元)组成。

其中,神经元作为核心,接管和处理数据,在图像识别、智能机器人、自动控制、预测和估计等领域发挥着最重要的作用。具体来说,人工神经网络可以反复调整神经元或“神经元”之间的连接强度,仔细观察当前不道德的模式是否能更好地解决问题,从而找出哪些模式最擅长计算解。

然后,人工神经网络不会将这些模式设置为默认值,模拟人脑的自学习过程。本质上,《大自然》杂志的NewsandViews专栏发表了一篇评论文章,作者是香港理工大学的杨柴博士。杨柴博士在文章中通过下图清晰地展示了两种视觉处理方法的区别:传统及其视觉处理过程(右图中的A部分):传感器采集信号,通过模数转换器(ADC)将模拟信号转换为数字信号,进行缩放并输出到外部人工神经网络,通过参数优化训练神经网络。神经网络的输出层接管编码非常简单的物理元素的信号(点和线),然后将这些信号优化成中间特征(非常简单的形状),最后在输入层上形成图像(3D形状);Lukas Mennel团队的图像传感器处理流程(右B部分):芯片上的点对点传感器(图中正方形)采集信号,用于人工神经网络识别非常简单的特征,增加传感器与外部电路之间验证数据的移动。

由发光二极管组成的神经网络返回到研究结果本身。该传感器本质上是一个光电二极管神经网络,即9个像素的正方形阵列,每个像素有3个二极管。

此外,它的感光材料是2D半导体二硒化简化钨(WSe2),它具有调节光线的能力。同时,二极管的灵敏度等于神经网络中的权值,其权值必须建立在图像传感器上。明确的工作流程如下:当图像投射到芯片上时,各种二极管电流不会产生,不会分组,不会加载。
该阵列获得模拟计算——。

每个光电二极管产生一个与入射光强度成正比的输入电流,根据基尔霍夫定律(电路中电流的基本规律),获得的电流沿末端或末端求和。然后阵列后开始训练。据悉,阵列产生的电流与预测电流的差值(记录:对于等价任务,如果阵列正确调用图像,会产生所谓的预测电流)不会同时进行分析,将用于调整下一个训练周期的神经元权重。两种神经形态函数此外,研究小组根据不同的神经网络算法演示了两种神经形态函数。

首先是“分类”。33像素阵列可以将图像分为N、V、Z三个字母,经过训练的图像传感器可以按照纳秒“对应电路的电流是否测量为0”的标准来识别字母(右图D)。

据报道,如果阵列尺寸成比例地减小,可以识别更简单的图像。第二个是“自动编码”。

即使没有信号噪声,神经网络也可以通过自学习图像的关键特征来分解处理后图像的修正响应。但是也知道该系统有很多局限性,比如:在明亮的环境下很难光学;它的设计一定是低电压,耗电大;很难大面积生产和加工所需的半导体。仅次于无法处理33图像。

然而,该论文的作者之一Lukas Mennel博士回应说:我们的图像传感器在工作时会消耗任何电能,探测到的光子可以用作电流来提供能量。传统的机器视觉技术一般每秒需要处理100幅图像,而一些较慢的系统每秒可以处理1000幅图像,但是我们的系统每秒可以处理2000万幅图像。

可以看出,虽然新技术在一定程度上被允许着陆,但这个系统在能耗和速度上显然有很好的表现。杨柴博士在文章中也认可了这种技术:这种技术不局限于视觉系统,还可以用于听觉、触觉或嗅觉感知。

这种智能系统的发展和5G高速无线网络的出现,将使未来计算动态(更低延迟)边缘成为可能。参考:https://www.nature.com/articles/s41586-020-2038-x #图15https://www.nature.com/articles/d41586-020-00592-6 https://spectrum.ieee.org/tech-talk以下是出版通知。_欧冠买球官网。

本文来源:欧冠买球网站-www.pinkparasoldesign.com

You may also like...

相关文章

网站地图xml地图