媒体基础一-人机交互与虚拟现实研究中心-山东大学.PPTVIP

多媒体技术－媒体基础 媒体基础（一） 向辉 山东大学软件学院 2003年秋季 本章内容 媒体的种类与特点 音频媒体 音频的声学基础 声音的数字化 声音的存储格式 语音信号、非语音信号 MIDI音乐 常见媒体形式 文本：text 图形：graphic 动画：animation 图象：image 视频：video 媒体种类 视觉媒体 图象、图形、动画、视频、文本 音频媒体 听觉：语音、非语音 触觉媒体 环境媒体：力反馈 媒体性质 空间性质 表现空间、空间结构 时间性质 表现时间、时间关系 媒体语义：抽象 复合媒体：“感觉相乘” 隐喻：metaphor，模拟人的知识与技能 音频媒体 音频（audio）或声音（sound） 携带信息的极其重要的媒体 多媒体技术研究中的一个重要内容 与视觉媒体相比具有特殊性 不同场合下的重要性不同 被动观看 (e.g. film, video, etc.) Video conferencing 声音的概念 声音是一种机械振动状态的传播现象，它表现为一种机械被即声波。 产生声波的条件 有作机械振动的物体：声源 有能传播机械振功的弹性介质 声波在介质中传播有一定速度，称之为声波的传播速度（声速） 声波示意（L. A. Rowe ） 声波频率 声压变化可以是周期性的和非周期性 频率概念 循环（cycle）- 压缩/稀薄过程 频率（frequency）：每秒cycle数，单位 hertz (Hz) 周期 – cycle的持续时间 (1/frequency) 声音信号一般由许多频率不同的信号组成，称为复合信号；而单一频率的信号称为分量信号 频率范围 频率小于20Hz 一般称为次声波（subsonic) 人的听觉器官能感知的声音频率范围约为20Hz～20kHz的信号称为音频(Audio)信号 人发音器官发声频率约是80～3400Hz，但人说话的信号频率约为300～3000Hz，即话音(speech)信号 高于20kHz的信号称为超声波 (ultrasonic) 超声波及次声波一般不能引起人听觉器官的感觉，但可借助一些仪器设备进行观察和测量 乐音与噪音 一般乐音指具有确定的基频以及与该基频有较小整数倍关系的各阶谐频（harmonic tone） 频率比基音高的所有分音统称泛音(over tone)，泛音的频率不必与基音成整数倍关系 在主观上把令人不愉快或不需要的声音定义为噪音 噪音的频谱较为复杂， 具有无规则的振幅和波形的连续频谱 声音要素（一） 响度（音响）loudness 到达人耳的声扰动振幅所产生的听觉的大小 声振动能量是物理特性，可用声强（sound pressure）定义，单位:帕斯卡 (Pa) 实用上通常都以对数方式的声压级 (sound pressure level)表示，单位:分贝(db) 响度是主观量，不能用任何仪器正确地测量 声音响度使用了以两个声强之比的对数为基础的相对标度，单位：宋（sone） 声音要素（二） 音调（音高）pitch或tone 人对声音刺激频率的主观判断与估量，称之为音调 (Pitch)，单位：美（Mel） Frequency是物理量，而音调是人的感觉 听觉经验 一般女生的声音比男生高 较大物体振动的音调较低 声音要素（三） 音色（音质）timber 由其频谱决定 不同乐器发出同一音高的乐音，仍然可以分辨 可以把音色描述为音的瞬时横截面，即用谐音（泛音）的数目、强度、分布和相位来描述。 泛音的强度可使音色发生变化，音色的主观特性比响度或音调的主观特性复杂得多。 模拟信号与数字信号 在时间和幅度上连续的信号为模拟（analog）信号。 巴时间和幅度都用离散的数字表示的信号就称为数字（digital）信号 采样（sampling）－时间 量化（quantization）－幅度 数字化实际上就是采样和量化 声音的采样和量化 采样频率 每秒钟需要采集多少个声音样本 根据奈奎斯特理论(Nyquist theory)和声音信号本身的最高频率决定的 fs = 2f 或者 Ts = T/2 如果一个信号中的最高频率为fmax，采样频率最低要选择2fmax 量化精度 反映度量声音波形幅度的精度，一般用每个声音样本的位数(bit per sample，bps)表示 常见的量化精度有：8与16 声音的质量越高，需要的存储空间越多 声音质量等级 声音质量的度量 声音质量的评价目前仍然是一个很困难的问题，需要继续研究 声音质量的度量有两种基本的方法 客观质量度量：主要用信噪比(signal to niose ratio，SNR) 主观质量度量：主观平均判分法 对于图象等其它媒体数据的处理同样存在两种质量度量 主客观结合？ 存储格式（一） 用.wav为扩展名的文件格式称为波形文件格式(WAVE Fi