随着消费者和工业领域使用摄像机记录的内容数量不断激增，机器有效且高效地获取、处理及利用视觉数据的能力正面临着重大考验。当前的主要挑战包括：收集的数据量庞大且大部分数据对机器无用；处理能力不足，特别是在设备尺寸和功率受限的应用环境中；以及对实时处理技术的需求。因此，众多领域（包括智能手机、可穿戴设备、智能家居、物联网系统、汽车技术及工业自动化设备等）的视觉赋能系统开发者都在积极探索突破传统视觉感测和数据采集的方式。摄像技术原本是为了满足人类观看的需求而诞生的。但随着技术的不断进步，主要基于帧式捕捉的摄像技术已逐渐无法满足现代机器的视觉需求。长期以来，机器视觉系统依赖的是为人类解读而采集和构建的视觉信息：由图像传感器连续捕捉静态图像构成的视频流。每一帧图像都只是特定时刻的静态快照，缺少动态信息。这种获取视觉数据的方法在大多数用于监控动态环境中的变化和运动的机器视觉系统中非常普遍。事件视觉技术采用了仿生人类视觉系统的神经形态技术，旨在增强消费者、工业、汽车等多个领域中视觉系统的效率与性能，从而提升安全性、生产效率及用户体验。（Prophesee）场景的移动或变化，是大多数机器视觉应用普遍面临的一大挑战。传统帧获取方法的内在局限性在此时便格外明显。不论帧率如何设置，摄像机往往都难以精准捕捉动态场景。因为场景的不同部分往往会同时呈现不同的动态变化，因此，如果整个成像阵列中的每个像素都使用同一采样率进行曝光调控，必将难以有效捕捉到这些同时发生的丰富的场景动态。
此外，传统图像传感器的缺点还包括反应迟缓、能耗高、产生大量冗余数据且动态范围有限，因此不适合执行机器视觉任务，特别是在对操作性能要求极高的环境中。因此，受生物启发的‘神经形态（neuromorphic）’事件视觉系统正成为一种新兴的替代方案。更快的处理速度、极低的延迟、更优的能效及更广的动态范围，使其成为多种机器视觉应用的理想选择。事件视觉技术改变了现代机器视觉中视觉信息获取及处理的范式。该技术采用了仿生人类视觉系统的神经形态技术，旨在提升消费者、工业、汽车等多个领域视觉赋能系统的效率与性能，从而增强安全性、生产率及用户体验。不同于传统摄像机采用的全像素统一采样率，事件视觉技术赋予了每个像素独立的智能决策，使其能根据入射光的变化独立决定采样时间。这种对比度变化的检测信息被记录为‘事件’，包含了像素的x，y坐标以及事件确切发生的时间。以Prophesee的专利事件传感器为例，当其像素检测到对比度（运动）变化时会智能激活，从而在像素级上对关键运动细节进行持续且精准的捕捉。不同于传统摄像机的固定帧率，事件传感器中的每个像素都可根据接收的视觉输入自行调整采样率。这种个性化策略使每个像素都能够根据入射光的变化自主确定采样点。因此，采样过程不再由人工定时源决定，而是由信号本身，或更准确地说，由信号的时间幅度波动决定。此类摄像机产出的不再是连续的图像序列，而是根据场景动态变化持续生成的单个像素数据流。事件传感器具有几大优势：运行速度快（相当于每秒10000帧）、能效高（能耗仅为微瓦级）、延迟低、响应速度快、数据处理需求少（比传统基于帧的系统减少10到10000倍），以及高达120dB的高动态范围。以上优势特性使得事件传感器广泛适用于各种应用和产品。
采用神经形态技术的事件传感器可广泛用于工业自动化领域中的各种任务，有助于提升生产率、产品质量、安全、安保，以及预防性维护。（Prophesee）起初，这类采用神经形态技术的事件传感器并非用于商业机械，而是用于帮助视觉障碍者恢复视力，随后才推广至工业自动化和过程监控的应用上。这些应用证明了事件传感器在执行视觉任务时具有显著优势，尤其是在处理快速动态变化、应对不可预测光照条件以及资源受限的环境中。之后，事件系统不断升级并广泛应用于各种工业任务，包括高速计数、预防性维护（如振动监控）、提升机器人效率与安全、AR/VR眼动或手势追踪以及众多物流与安全/安保应用。事件系统的独有优势使其成为物联网应用的不二之选。特别是在依赖电池的物联网设备中，功耗尤为关键。与传统基于帧的摄像系统相比，事件视觉系统的运行功耗明显降低，因此更适合高能效场景。此外，由于事件摄像机的信息处理方式不受光线强度影响，因此在处理物联网应用中常见的复杂光照条件时，表现十分出色。该摄像机的高动态范围可在单帧内捕捉广泛的光线强度，非常适合户外强烈阳光或夜间场景等光线条件多变的环境。事件摄像机的高动态范围达120dB，即使在传统摄像机难以应对的多变光照条件下也能有效运作。无论是在白天公共场所或车辆内部等极亮环境，还是夜间操作或昏暗的工厂内部等光线暗淡的环境，事件传感器均可用于预防性维护和安全监控任务。（Prophesee）事件摄像机的动态范围超过120dB，即使在传统摄像机难以应对的多变光照条件下也能有效运作，包括白天的公共场所或车辆内部等极亮环境，以及夜间操作或昏暗的工厂内部等光线暗淡的环境。此外，事件摄像机仅在场景亮度发生变化时才传输信息，从而最大限度降低延迟。在光线迅速变化（如突然从亮变暗或从暗变亮）的环境中，实时响应已被证明具有明显优势。此外，事件摄像机还能精准检测光线强度的细微变化，与传统基于帧的摄像机相比，该摄像机在降低运动模糊方面表现更佳。在涉及快速运动的场景中，这一特性尤为重要，因为它可以保证清晰的图像质量。将事件摄像机集成到智能手机成为了一项新的用例，例如Prophesee与高通合作，将事件视觉技术整合到了广受欢迎的骁龙平台。下一步，物联网事件传感器的开发将专注于针对边缘视觉任务的调整，这些任务由于采集的数据较稀疏，因此仅需有限的机载计算能力。然而，非传统的数据格式、数据速率波动以及非标准接口等问题，都制约了这些传感器的广泛应用。为应对这些挑战，新一代事件传感器（如Prophesee的GenX320）旨在通过支持事件数据预处理和格式化、兼容数据接口以及与多种处理平台（如节能神经形态处理器）的低延迟连接等功能，提升嵌入式边缘视觉系统的集成性和实用性。例如，GenX320提供多种预处理功能、可调接口及电源管理选项，可有效满足电力敏感型视觉应用的需求。尽管这些传感器已具备高效的运行效率，但为了更好地适应物联网环境中低功耗的使用需求，传感器的持续优化仍至关重要。采用多种电源模式和针对特定应用定制的操作模式可显著提升能效，尤其适用于需要“常驻”运行的应用。此外，应用芯片内的智能电源管理机制和策略可进一步提升传感器的灵活性和实用性；Prophesee已成功将启动智能唤醒事件功能时的功耗降至36uW。同时，增加深度睡眠和待机时间也对节能十分有利。在物联网应用中，事件传感器需考虑以下需求：在微秒级分辨率下进行事件的时间戳记并最大程度降低延迟，以及通过集成的事件数据预处理功能，实现与SoC的无缝接口连接。采用MIPI或CPI输出接口可确保传感器与低功耗微控制器及现代神经形态处理器架构等嵌入式处理平台快速连接。事件传感器可通过使用稀疏无帧的事件数据格式以确保传感器级的隐私保护，包括静态场景移除。事件传感器正不断发展，以适应更广泛的应用需求。Prophesee的最新传感器GenX320非常适合那些要求低功耗和工作站小型机（SFF）系统中运行的众多物联网应用。（Prophesee）如今，事件传感器的应用范围正在不断扩大。通过将这些传感器集成到物联网平台，产品开发者可满足与功耗和尺寸相关的特定市场需求。应用案例包括增强AR/VR体验的注视点渲染技术、人机界面的眼动追踪，以及安全领域的驾驶员监控系统和情感识别。这些传感器还可支持常驻运行功能，以实现特定的安全目的，如跌倒检测摄像头和沉浸式界面的手势/手部追踪。在AR/VR领域，利用闪烁液晶显示器的内外追踪和星座追踪技术可实现对物体或控制器的精准追踪。得益于硅技术的进步，事件传感器的新应用案例正在不断研发，包括高速结构光3D技术，可在工业应用中以千赫兹的重复率生成点云。同时，由于该视觉技术无需捕捉或传输图像即可有效解决隐私问题，因此也广泛应用于隐私意识日益增强的智能家居系统，如跌倒检测单元。正在逐步形成的事件视觉技术新范式，将成为对机器视觉效率有需求的许多市场的新标准。过去几年间，该技术通过不断发展，成功扩大了其应用范围。随着事件视觉技术不断适应并满足各种应用需求，事件摄像机将会更广泛地应用到我们的日常生活中。本文由Prophesee首席执行官及联合创始人Luca Verre撰写。
![]()
点击 阅读英文原文
