视觉芯片材料.pptxVIP

一、 可行性论证 1、视觉芯片的原理和特点 视觉芯片是一种模仿人类视觉功能，可高速完成图像采集和处理的新型片上 系统芯片。要充分理解视觉芯片的工作原理，必须先了解人类的视觉系统。经过 数百万年的自然进化，目前的人类拥有发达的视觉系统，具有快速、灵活、高效 的视觉图像处理能力。如图 1.1 左侧所示，人类视觉系统主要包括眼球、大脑视 觉中枢和一些信号传输神经。外部场景及物体以光信号的形式，通过眼球前端的 晶状体，聚焦投影在眼球后部的视网膜上。视网膜主要完成两个功能，一是接收 投影过来的图像光信号并转化为电信号，二是并行实现图像特征提取，将携带大 量冗余信息的原始图像压缩为少量的特征信息，然后通过传递神经传输到大脑的 视觉中枢。之后，大脑基于以往学习到的经验知识，快速直观地对图像特征进行 分析和识别，从而让我们能迅速识别和???解所看到的场景和物体。在人类视觉系 统中，图像信息是并行传输、并行处理的，具有很高的实时响应速度。因此，人 类视觉系统为高性能图像信息采集处理系统提供了很好的设计借鉴。;素阵列模仿眼球视网膜的图像采集功能，大规模并行处理阵列模仿视网膜的并行 特征提取功能，图像数据在像素阵列和大规模并行处理阵列之间的传输也是大规 模并行的。高层次处理器则模仿人类大脑功能，实现对特征的进一步分析和识别， 通常不具备明显的并行处理能力。最后，视觉芯片输出这些特征数据或识别结果 到片外，完成对其他设备的反馈控制。 图 1.2 所示为典型视觉芯片的逻辑构成，它集成了图像传感器的像素阵列和 多个不同功能的多个处理器。在系统逻辑结构上视觉芯片非常类似于层次化异构 的人类视觉系统，图像传感器类似于视网膜的成像功能，而其后不同功能的处理 器则类似于不同层次的视觉皮层，比如阵列处理器的功能和 V1 皮层类似，用于 感知边缘以及强度信息，而后续的处理器功能则类似于次级皮层，用于对初级皮 层提取的边缘信息进行整合和抽象。更为重要的是，视觉芯片对视觉信息的处理 采用并行处理，这一点与生物神经系统类似。;3;图 1.3 视觉芯片的发展脉络 90 年代初期受神经形态学启发而来的视觉芯片无法完成复杂的视觉处理， 显然，仅仅进行视觉预处理并不能满足人们对视觉系统的要求。为此进入 21 世 纪之后，很多学者设计了具有某些特殊功能的视觉芯片，比如用于运动检测、目 标跟踪、目标判别等应用的专用（Application Specific）视觉芯片。在该方向研究 工作较为突出的为东京大学、意大利 FBK（Fondazione Bruno Kessler）、新加坡国 立大学以及中科院半导体研究所等研究机构与大学。专用视觉芯片的优点是能够 根据具体应用优化系统架构和电路结构，使芯片面积、功耗等做到最优。然而， 即使是在这些固定的应用场景下，专用视觉芯片的表现可以说仍然不尽人意，究 其原因，主要是芯片内所固化的算法鲁棒性不高。这一问题我们很容易从用于目 标追踪的视觉芯片中看出来，这类芯片尽管采用了高速设计，但是其核心的算法;5;6;群或者基于 GPU 的平台进行计算，系统的功耗很大。基于视觉芯片计算架构巧 妙地借鉴了人类视觉系统的仿生架构，在计算效率上更胜一筹，是未来实现小型 化CNN 处理专用芯片以及平台的可选结构之一，集成CNN 的视觉芯片是未来的 重要发展方向。 二、 技术方案 1、视觉芯片的架构 传统的视觉芯片架构如图 2.1 所示，该架构主要包括以下三个部分：1）高 速图像传感器接口以及控制器组成，用于高速采集数字图像并输出到后续处理器； 2）多级并行冯诺依曼处理器：主要包括像素级并行的N × N PE 阵列处理器，N 个行并行的 RP 阵列处理器，以及线程级并行的双核 MPU 处理器，分别用于完成 低级、中级和高级图像处理；3）非冯诺依曼 SOM 神经网络：该神经网络含有 N1 × N2 个 SOM 神经元，是模仿人类大脑识别功能的一个简化模型，用于以矢量 级并行方式加速高级图像处理中最复杂、最常见的特征识别任务。该架构的不足 之处在于低级处理器是由大量的仅能进行 1-bit 计算的简单处理器构成，虽然计 算并行度很高，适合对图像进行快速的低级处理，但是由于每个单元的处理能力 较差，无法实现的复杂的图像处理算法的计算。;为了克服传统视觉芯片的不足我们提出了如图 2.2 所示的具有“块”处理功 能的视觉芯片架构。如图 2.2 所示，该架构包括图像传感器接口，系统总线，传 感器控制模块，传感器缓存、程序缓存、网络接口，4 个用于大规模并行处理的 计算核心（Computation Core，CC）以及一个 MPU 微处理器。传感器缓存用于 存储来自图像传感器的数据，以便于处理器多次访问。程序缓存中存储了用于视 觉处理的算法程序。网络接口用于与 PC 通信。4 个