Event2Vec：通过向量空间中的表示直接处理神经形态事件.pdfVIP

Event2Vec：通过向量空间中的表示直接处理神

经形态事件

11

WeiFangandPriyadarshiniPanda

1ElectricalComputerEngineering,YaleUniversity.

Contributingauthors:wei.fang@;priya.panda@;

本摘要

神经形态事件相机在时间分辨率、功耗效率和动态范围方面与传统相机相比具有明

译显优势。然而，事件相机输出的是异步的、稀疏的和不规则的事件，这与主流计算

机视觉和深度学习方法不兼容。为了解决这个问题，人们提出了各种方法，但这些

中方法都以长时间预处理程序、丢失时间分辨率或不适用于大规模并行计算为代价。

2受词向量成功的启发，我们总结了单词与事件之间的相似性，然后提出了一种新的

v事件到向量（event2vec）表示法。我们在分类DVS手势和ASL-DVS数据集上验

1证了event2vec，显示出令人印象深刻的高效学习能力和准确性。除了任务性能之

7外，event2vec最吸引人的优势在于它将事件对齐到了自然语言处理领域，展示了

3将事件整合到大型语言和多模态模型中的前景。我们的代码、模型和训练日志可在

5/fangwei123456/event2vec获取。

1

.Keywords:神经形态计算，事件驱动视觉，脑启发计算

4

0

5

2

:

v1介绍

i

x

r

a神经形态计算是一个新兴的研究领域，旨在通过借鉴大脑的灵感来构建下

一代人工智能[1]。该范式最重要的进展之一是事件相机[2]，如动态视觉传感器

（DVS）[3]和异步时间成像传感器（ATIS）[4]。与输出同步帧的传统相机相比，事

件相机以异步方式工作，并在亮度变化时触发事件输出，显示出极高的时间分辨

率、低功耗和高动态范围（HDR）成像能力。

1

事件以地址-事件表示法（AER）进行表述。事件流中的第个事件是

，其中是坐标，是时间戳，是极性。的范围由传感器

的空间分辨率决定，例如DVS128相机的。的时

间分辨率在范围内。表示位置处的亮度在时间戳时是降低

还是升高。AER格式是一种稀疏且不规则的表示形式。然而，大多数现代计算机

视觉（CV）方法基于密集和规则的多维张量表示。例如，一个图像表示为形状为

的张量，其中是通道数，是高度，是宽度。通常，灰度图像

是，彩色图像是。多维张量表示与深度学习方法[5]、现代机器学习

和科学计算框架[6–8]兼容。

要在基于事件的视觉中应