视觉与听觉跨模态转换的认知和应用研究.pdfVIP

A Dissertation Submitted to Shanghai Jiao Tong University for the Degree of Master COGNITIVE PROCESS OF AUDIOVISUAL MODALITY SHIFT EFFECT AND MODALITY TRANSFORM BASED VISUAL GUIDANCE SYSTEM Author ：Min Nie Specialty: Biomedical Engineering Advisor: Prof. Shanbao Tong School of Life Science Biotechnology Shanghai Jiao Tong University Shanghai, P.R.China Jun. 2010 第 II 页 视觉与听觉跨模态转换的认知和应用研究 摘 要 在日常生活中，人类时时刻刻都在摄取来自不同感官的各种信 息，为了完成不同的认知任务，我们可能需要将注意力在各个感官通 道上进行来回切换；当有的感官通道受到不可逆的损伤时，我们希望 通过从其他感官获取相关信息来进行替代。本文主要围绕视觉与听觉 跨模态转换阐述硕士期间的两项工作： 其一，视觉与听觉跨模态转换的认知过程研究。本文采用行为学 实验和脑电分析的方法，讨论了这种自上而下的注意力切换的行为学 和电生理特征，对比了注意力从听觉切换到视觉与从视觉切换到听觉 的不同特性，计算了感官间注意力切换所需要的时间以及对应的脑电 成分，并使用事件相关电位（ERP）这种高时间分辨率的方法确定了 接到注意力转移的任务以后，开始注意力转移的时间点。我们发现， 注意力从视觉切换到听觉约需要152ms，而从听觉切换到视觉只需要 约96ms。对于事件相关电位，听觉提示诱发的 N1、P2 幅值均比视觉 提示诱发的大。注意力从视觉转移到听觉诱发了额叶和中央区一个 2μV左右的负波，而视觉注意力的保持则表现为一个接近基线的信号； 听觉注意力的保持诱发了一个位于额叶和中央区的2μV 左右的负波， 而注意力从听觉转移到视觉的过程却表现为一个接近基线的信号。考 虑到ERP 波形幅值反映了认知资源的分配，这很好地验证了“视觉主 第 III 页 导认知过程（visual dominance）”的观点。此外，注意力的转移会 造成听觉刺激诱发的ERP 幅值增加，对于视觉刺激恰好相反，感官间 的注意力切换会造成视觉刺激诱发的 ERP 幅值减小，我们猜测，这种 现象与听觉对于注意力的自吸引效应和视觉注意力水平可能有一定 关系。 其二，基于听觉代替视觉的助盲系统 SoundView 升级优化工作。 为了实现听觉代替视觉的目标，我们搭建了听觉引导助盲系统 SoundView，它通过识别环境中的某些物体编码相应的语音播放给盲 人听，告知盲人环境中重要物体的名称和方位。听觉引导助盲系统 SoundView通过摄像头采集视频输入嵌入式系统进行数字图像处理和 特征识别，根据特定物体所处位置构建三维立体声序列，盲人能够通 过声音序列的不同区别物体，并利用三维立体声判断物体方位。为了 避免复杂的模式识别算法，我们用条形码标记环境中的重要物体帮助 识别。本课题前期已经完成了SoundView 系统整体搭建，但是已有的 系统存在处理速度过慢、有效识别范围过小等问题。为了改善系统性 能，使SoundView更加具有实用价值，我们使用长焦镜头和分段特征 识别算法扩展了有效距离，同时简化图像处理程序、使用系统库函数 节省计算资源，大大提升了SoundView的处理速度，使得在0.5m-6.5m 的范围内可以以12 帧/秒以上的速度进行有效的条形码识别。 关键词