lecture03-音频基础2分解.ppt

多媒体技术－音频基础 多媒体技术基础－音频基础(二) 向辉 山东大学计算机学院 2014年秋季 本章内容 音频的声学基础 声音的数字化 声音的存储格式 MIDI音乐 语音信号 声音信号Dan Ellis dpwe@ee.columbia.edu 声音信号的分类 非语音信号（nonspeech） 音乐 噪音 一般声音 语音信号 非声音信号 除了语音信号以外的所有音频信号 硬盘转动、风扇 驾车时转向提示 日常生活中的应用 外界交互的重要手段 过街、接电话、机器设备检查等 重要特点 用户可以在操作时同时监控（monitoring）多个非语音信号 驾车：radio、谈话、周围环境（警车、救护车） 多媒体技术中的应用 研究不够充分 借鉴日常生活中的应用 辅助交互手段 视觉交互超载 两种主要应用方式 多变量数据展示：数据变量映射到声音 提供反馈，支持人机交互 人机交互环境中的非语音信号 声音提示：Audio Cues 按照功能不同分类 Alarms and Warning Systems Status and monitoring messages Encoded messages Alarms and Warning Systems 需要立即处理 声音较大、尖锐、容易分辨 应用 作战指挥 驾驶 游戏 不能同时出现多路 Status and monitoring messages 提供正在进行的工作的信息 Steady－state tones or patterns 容易消失：人对声音变化非常敏感 正常情况下人可以同时监控多路声音 实例：驾车、微波炉 Encoded messages 采用声音模式来表示数据例如统计信息等 声音复杂、富于变化：对应数据的复杂性 需要学习，利用人的原有知识 多采用音乐：数据变量对应声音属性 进一步参考 AUDITORY INTERFACES: The Use of Non-Speech Audio at the Interface William Buxton William Gaver Sara Bly MIDI Musical Instrument Digital Interface 用于在音乐合成器(music synthesizers)、乐器(musical instruments)和计算机之间交换音乐信息的一种标准协议。 国际MIDI协会(International MIDI Association)出版的MIDI 1.0规范对MIDI协议作了完整的说明 是一套指令(即命令的约定)，它指示乐器即MIDI设备要做什么，怎么做，如演奏音符、加大音量、生成音响效果等 MIDI特点 生成的文件比较小 MIDI文件存储的是命令，而不是声音波形－用于压缩？ 容易编辑 编辑命令比编辑声音波形要容易得多 可以作背景音乐 MIDI合成方法－FM法 MIDI合成方法－波表法 MIDI系统的组成 合成器 音源 ②另外，音源还可以使用软件音源来代替。软音源可理解成是专门提供音色的硬音源的软版本，一般以插件形式提供。 音序器(Sequencer) 采样器 MIDI系统的工作过程 MIDI系统 3种不同的MIDI连接器，用IN(输入), OUT(输出)和THRU(穿越) MIDI数据流产生 由MIDI控制器(MIDI controller)产生，如乐器键盘(musical instrument keyboard) 由MIDI音序器(MIDI sequencer)产生 MIDI数据流的接收设备：MIDI声音发生器(MIDI sound generator)或MIDI声音模块(MIDI sound module) MIDI通道 简单的MIDI系统 复杂MIDI系统 使用PC机构成的MIDI系统 语音信号 言语过程 从说话者想说到听话者对话音的理解是一个很复杂的过程，一般可分为如下几个阶段 想说：大脑产生说话的意向(intension)，接着生成概念（concept)，选择合适的词汇，按语法组织成语言； 说出：发音器官协调工作，发出声音（产生声波），面部的肌肉、器官和体态与发音器官配合，送出多种信息以便让听者更好的理解语音，与此同时，讲话者的听觉系统接收到自己的声音，并随之修改； 传输：声波凭借质点的运动而传播； 接收：人的听觉系统负责接收声波，包括外耳、中耳、内耳。内耳的基低膜被声波刺激而振动，激发神经元产生脉冲，传给大脑，从而感知到声音。 理解：听觉神经中枢收到脉冲信息，通过一系列复杂的处理过程，辨认出讲话人，理解其信息内容。 人的发音生理机构 主声道：声门以上，经咽喉、口腔 鼻道 次声门系统 机理示意 人的发音过程 发音时由肺部收缩送出一股直流空气经气管流至喉头声门处 在发声之初，声门处的声带肌肉收缩