[第2讲媒体及媒体技术.pptVIP

第二讲媒体及媒体技术 Outline ◇ 媒体的种类和特点 ◇ 听觉类媒体及数字化 ◇ 视觉类媒体及数字化 ◇ 触觉类媒体等其它媒体 常见的媒体元素 文本（Text） 图形（Graphic） 音频（Audio 、 Speech ） 音频参数：采样频率、采样精度和通道数 静止图像（Image）： 关键技术:图像的扫描、编辑、压缩、解压缩和一致性再现。 三个因素：分辨率、图像灰度和图像文件大小。 视频（Video） 在视频中几个重要的参数（帧率、数据量、图像质量） 动画（Animation） 媒体的种类 人类的感觉：视觉、听觉、触觉、味觉和嗅觉。 媒体可以分为： 听觉类媒体 （波形声音、语音和音乐） 视觉类媒体 （包括位图图像、矢量图形、动画视频、文本等） 触觉类媒体 （环境媒体） 味觉类媒体 嗅觉类媒体 人类对信息理解途径 听觉媒体技术 声音心理学 音频的数字化和符号化 采样 量化 编码 声音的量纲 声音的物理量： 频率（变化的速度） 振幅（变化的强度） 相位（开始的时刻） 声音的强度相差很大，1kHz正弦波所能察觉的最弱音为 2.83×10-4 （达因/平方厘米），这个最弱音作为参照声的国际标准。采用分贝作为量纲。分贝是指两个波峰幅度A和B的比： dB ＝ 20log10(A/B) 人耳朵感觉最弱的声音到产生痛感的声音的强度相差约一万倍。对于大多数人来说，感觉痛苦的限为 100-120dB 人的听觉频率范围是20-20kHz。 声音的心理学量纲： 响度 音调 其它还有音色、和谐、不和谐以及乐音等等 强度增加，响度增加；频率增加，音调增高。 心理学量纲和物理学量纲不能混淆： 这些关系不是线性的，强度加倍不等于响度加倍 这些关系不是孤立的，声音频率的变化既影响音调也影响响度 这些关系不是完全固定的，对于一个音的响度和音调有什么样的知觉取决于出现的情景 听觉心理变量和物理变量的关系 听觉特性 （1）等响曲线 等响曲线描述的是响度与频率、强度的关系。响度是与频率和强度有关的，在不同的频率上的强度是不同的。 从声音心理学考虑，对同一响度的声音在频率上的强度上可以有很大的差别，这对于多媒体系统的声音表现有重要的意义。 （2）掩蔽 声音的响度不仅取决于自身的强度和频率，而且依赖于同时出现的其他声音。声音之间可以互相掩蔽，一种声音的出现可能使另一种声音难于辨别。 由于声音的掩蔽效果，可以欺骗人的听觉。声音的掩蔽特性常用于声音的压缩。 （3）临界频带 在频率的某一临界区里，这种声音强度是相互作用的，合成声音的响度由这些频率共同决定。如果超出临界区，声音的响度不再相互作用，随频率而变。这个临界区就是临界频带，其宽度视其中心频率而定。 对于临界频带的确认，使得对声音响度的处理能够有的放矢。 （4）相位 从声音的波形来看，声音的起点和方向也反映声音的特性，这就是声音的相位。当两个声音同方向但相位相反时，它们相互抵消；当两个声音同方向且相位也相同时，声音就会得到加强。 相位的确定在多声道系统的设计中非常重要，它可以应用在回声抵消、会议系统的声音设计上等。 （5） 自然声音的时变现象 声音的音调分成3个区域：起始区、稳定状态区和延迟区 研究表明，音调的频谱分量随时间改变。在稳定状态区，频谱保持固定。在起始区，频谱随时间变化。因此自然声音的起始部分是非常难识别的。 对于语音（人的说话，Speech），具有短时平稳性，一般认为5-50ms左右语音信号保持相对稳定一致的特征。对于语音信号的分析和处理是建立的“短时”的基础上。 （6） 听觉空间 人耳可听到来自各个方向的声音，并用不同的因素来决定声源，包括强度、时间和频谱。确定声源的位置无论对于增进人们的感受还是增进对声音的理解都是非常重要的。 方位的线索是各种声音到达两耳的精确时间和强度。声音先到达离声源较近的一耳而且强度较大。声音的定位要靠双重机制，一般低频率主要依靠时差，高频率依靠强度。1-5kHz的频率范围是转换点，在转换点附件定位误差最大 通过声音的精确再现，就可以构造出听觉空间，对于听觉空间的再现在虚拟现实系统中必不可少。 （7）听觉的频谱特性 声音是时间函数，通过傅里叶变换可做出其频谱图。人耳对频谱成分的波峰和波谷是非常敏感的。在语言中，元音很少有频谱快速变换的区域。基频改变，人耳是很敏感的 （8）声音的心理模拟 通过仿真的方法，可以对视觉空间的景物进行再造或虚构，也可以对听觉空间的声音进行心理的模拟，就是所谓的可听化（audiolization）。 用声音可以表达出一些特殊效果 。例如：对于虚拟的流体，用声音的高低可以表示流体的粘度，低音表示流体很粘，高音则不粘；用声音的单一频率可表示流体的密度小，而多种频率复