ch声音媒体及处理.ppt

乐音样本合成器的工作原理 D/A 颤音 合奏 回声回荡 移动立体声源 左通道 右通道 声 音 数字计算： 改变播放速率，加音效，使用包络数据等 立体声模拟 信号输出 A D S R 声音包络发生器 Attack：音量提升速度 Decay：音量减低速度 Sustain：乐音维持强度 Release：声音会零速度 乐音样本 (ROM) 数字信号 处理器 (DSP) 音调 音量 教学进程 3 MIDI系统的组成 ●音序器 (Sequencer) 用于记录、编辑、播放MIDI的声音文件，音序器有以硬件形式提供的，目前大多为软件音序器。音序器可捕捉MIDI消息，将其存入MIDI文件，MIDI文件扩展名为 .MID。 音序器还可编辑MIDI文件。 ●音源 包含声音样本的资源库，有硬音源和软音源两种。 ●采样器 对声音进行采样，从而满足新增音色的要求 3 MIDI系统的组成 教学进程 一台性能不错的多媒体电脑，装上质量不错的声卡，一对音箱，一个MIDI键盘或带MIDI接口的电子琴（甚至可以用电脑键盘来模拟），再装上专业制作软件及软音源，就可以进行电脑音乐创作了。 一个人就能建立一支大型乐队，怎么样，试试吧？！ 常用软件 CakeWalk Sonar Cubase SX 3 MIDI系统的组成 7 音频处理软件 音频的录制和编辑软件 Windows “录音机” 、Cool Edit、Sound Forge 软件 音频的播放软件 播放CD音乐的软件、播放波形文件的软件、播放MP3格式的软件、播放MIDI文件的软件 音频的格式转换软件 将CD格式转换成WAV和MP3的抓音轨程序，有wav和mp3相互转换的程序。 豪杰公司在其“豪杰超级台乐工作室”把这些程序归到一起组成了两组程序，即“数字CD抓轨程序”和“音乐格式转换器”等。 教学进程 教学进程 8 音频处理的方向 ●语音识别 将语音转化为字符输入 ● 语音合成 将字符合成语音输出 ● 音频媒体的三维化处理 三维虚拟声空间 2.3 语音合成与语音识别 1、计算机语音输出概述 2、语音合成 计算机语音输出的方法： 录音/重放； text -- speech（语音合成） 1、计算机语音输出概述 语音合成（Speech synthesis）是指人们根据语言学的知识，在语音分析技术和语音存储技术的基础上，利用适当方法和手段，重构语音的过程。 要求：understandable, natural 应用： 自动报警, 自动应答, 有声校对, 有声电子邮件, 残疾人服务等 2、语音合成 2.2.6 计算机语音输入和语音识别 2、分 类 3、困 难 1、研究领域与应用 Speech Analysis Who? What? How? Verification Identification Recognition Understanding (说话人验证/识别) (声控打印机,语言翻译机,语音拨号,语言应答器等) (测谎器) 1、研究领域与应用 按可识别的词汇量的多少分：小、中、大 按语音的输入方式分：孤立词、连接词、连续语音 按发音人分：特定人、限定人、非特定人 最终目标：大词汇量、非特定人连续语音的识别 2、分 类 语音变化大，不同人不一样，同一人也会有变化。 语音有模糊性，不同词语听起来很相似。 （如：努力-奴隶，星期-腥气-兴起） 同一字和词的发音受上下文影响而有不同（语音的同化、异化、换位、弱化、脱落等音变现象）。 环境噪声的干扰，例如墙壁与物体对声波的反射会与主声波重迭。 连续语音流不易把单字（词）区分出来（端点检测）如：da-an(答案)与dan(但) 3、困 难 为满足数字电话和数据通信容量日益增长的要求，又要保证传送话音信号的质量，除提高通信带宽之外，再就是对话音信号进行压缩。 例：Internet上的话音数据流的传输率为 64kb/s(单声道，f=8KHz，8位) 使用28.8Kb/s的MODEM无法接受。 1、话音编码概要 2.2.7 话音编码 1）话音波形特性 浊音 清音 爆破音 2）音频信号的处理过程 1、话音编码概要 浊音是一种称为准周期脉冲(quasi-periodic pulses)激励所发出的音，这种准周期脉冲是在声门打开然后关闭时中断肺部到声道的气流所产生的脉冲。 图1 浊音段的波形举例 图2 浊音段的功率普密度举例 1、浊音 清音是由不稳定气流激励所产生的，这种气流是在声门处在打开状态下强制空气在声道里高速收缩产生的 。 图3 清音段的波形举例 图4 清音段的功率谱密度举例 2、清音 爆破音是在声道关闭之后产生的压缩空气然后