Prophesee革命性传感器，开启机器视觉新时代

当今时代，机器视觉技术正日益成为各行各业的核心驱动力。随着人工智能和传感器技术的不断进步，我们正处于机器视觉的黄金时代，这不仅改变着生产制造和安全监控，也深刻影响着智能城市和医疗保健等领域。
 
在7月8-10日的VisionChina（上海）2024展会上，Prophesee的展台吸引了众多观众的目光。Prophesee是一家全球领先的事件视觉传感器公司，致力于通过创新的技术为机器视觉带来革命性的变革。Prophesee的视觉技术专家为笔者详细阐述了“基于事件”的视觉传感器的突破性优势，以及其在工业元宇宙、物联网、智能工厂、工业机器人等领域的应用潜力和市场机遇。
 
什么是“基于事件”的视觉传感器？
 
众所周知，如今大多数的机器视觉系统是通过每秒捕捉多张静止图像来模拟运动，类似于电影摄影机。虽然能营造出运动的错觉，但存在以下局限性：1）信息丢失: 传感器在两帧之间无法记录全部信息，相机在捕捉每帧图像时存在盲区，无法捕捉到移动物体的完整信息，导致运动物体细节丢失。2）数据冗余: 每个画面中包含大量重复的背景信息，造成数据冗余和处理浪费。3）低效率: 传感器无法区分画面中的重要信息和无关信息，导致低效的图像处理。
 
Prophesee公司所研发的“基于事件”（EVS）的视觉传感器，受人类视觉系统的启发，并以神经形态工程为基础，克服了传统视觉系统的局限性。
 
 
 
就像人眼只有在场景发生变化时才向大脑传输信息一样，眼睛和大脑可以从每秒变化1000次的物体中获取有用的信息，而无需付出大量的脑力认知。这种事件驱动的机制使人类视觉能够在处理场景信息时节省时间和精力。
 
Prophesee的系统模拟人眼，由事件所驱动，传感器只记录场景中的变化（事件），例如物体的移动或光线的变化，而忽略静止部分。这就是基于事件的视觉传感器的工作原理。也因此，EVS传感器的功耗要远低于RGB和MONO的传感器，通常要小于10mW。
 
据Prophesee销售总监高喆敏介绍，目前Prophesee已经推出了五代EVS传感器产品。第四代传感器具备超快速捕捉瞬息即逝的场景动态能力，其等效时间精度达到高达10,000 fps，并支持超过120 dB的极端照明条件动态范围。而第五代EVS传感器则在尺寸上进一步缩小，裸片尺寸为3mm x 4mm，空间分辨率高达10万像素，这使得它可以在手机等消费类电子、IoT、嵌入式等应用中具备更广泛的应用前景。
 
事件视觉传感器在多个领域展现优势
 
在此次Prophesee的展台上，笔者也亲眼目睹了事件视觉传感器在多个视觉领域带来的革命性变革，还有幸听取了Prophesee现场技术专家对多个展示产品方案的深入讲解。
 
（一）3D结构光：近年来，3D结构光技术在机器视觉领域备受关注。而事件视觉传感器则展示了其在超高速深度测量方面的显著优势。这些传感器能够通过USB接口传输高达600Hz的点云数据，在500Hz时保持低于1.5%的RMSE误差率，且能够在相机内部的FPGA上运行专有的3D测量算法，支持多达1,152个独立激光点。典型的应用场景包括工业机器人和AMR（自动移动机器人）、物流管理、工厂计量、人员检测与计数，以及机器安全等领域。
 
 
 
（二）振动监测：事件视觉传感器可以通过追踪场景中每个像素的时间演变，实现连续远程监控振动频率，并保持像素级的精度。它能够在从1Hz到kHz范围内进行频率分析，支持精确到每像素的数据处理。典型应用包括运动监控、振动监控和预测性维护中的频率分析。
 
 
 
（三）GENX320 高级功能：事件视觉传感器能够在基于成本优化的MCU平台上展示了数据流处理、AI数据准备以及低端到端延迟事件处理的实验。目前，Prophesee的传感器已在流行的ST MCU上实现了流式传输，并且专为嵌入式应用设计。具体特性包括320×320像素的1/5英寸光学格式，像素延迟在1k lux下小于150微秒，以及超过120 dB的动态范围。
 
 
典型应用包括增强现实（AR）、虚拟现实（VR）、扩展现实（XR）和可穿戴设备、眼动追踪、手势识别、物联网（IoT）和智能家居设备、边缘AI算法和机器学习应用，以及需要保护隐私的医疗健康摄像头等场景。
 
（四）光流：一个方向是光流运动的跟踪捕捉。事件视觉传感器可以通过逐个像素的连续追踪，而不再是逐帧的顺序分析，从而更加高效地理解光流运动。再加上其特有的仅在移动对象上获取光流信息，与传统基于图像的方法相比，功耗能够降低17倍。这使其在传送带速度测量、零件/物体速度测量、轨迹监测、轨迹分析、轨迹预期等多个用例中有着很好的应用潜力。
 
 
 
（五）颗粒/物体大小监测：事件视觉传感器还可用于在通道或传送带上，控制、计数和测量高速移动物体的尺寸。它们可以在每秒500,000像素的速度下，以99%的计数准确度实时获取生产线上的质量统计数据。适用于需要精确和快速生产数据分析的场景，如药丸和谷物计数。
 
 
 
（六）主动光通信：事件视觉传感器能够以超高速度追踪LED通信，并在像素级别上完全消除背景干扰。它支持超过1,000 Hz的姿态估计，具备在挑战性环境条件下保持稳定的能力，同时拥有独特的通信识别能力和低功耗数据处理能力。传感器还提供超过86dB的动态范围。
 
这一功能使其在3D位置估算、设备安全系统、游戏装置、遥控器、3D计算机动画、自动移动机器人（AMR）/机器人导航、起重机防摇摆系统以及安全区域监测等领域都有着广泛的应用。
 
（七）XYT 运动分析：通过XYT查看器可视化事件数据，揭示物体在时间和空间上连续变化的信息。它能够放大时间，帮助用户了解场景中的细微运动，同时揭示帧与帧之间的不可见内容。典型的应用包括运动分析、设备健康监测和机器行为监测。
 
（八）入门套件：Prophesee与AMD联合开发了事件视觉传感器开发套件，其已经支持AMD Kria KV260视觉AI入门套件。该套件为客户提供了一个高效的平台，帮助他们快速评估智慧城市、机器视觉、安全监控、零售分析等领域的工业级解决方案，并将其投入生产。这一开发套件将加速高级边缘机器视觉应用的开发。
 
 
 
结语
 
Prophesee的创新技术为机器视觉的发展开辟了新的道路，借助这些传感器，机器的视觉反应变得更加智能、自主、快速和安全。新一代计算机视觉技术在速度、性能、效率和安全性方面都实现了显著的提升。相信不久的将来，这一革命性的传感器技术将实现由质到量的跃升新阶段，为社会发展带来更多机遇。