ch2声音媒体及处理.ppt

教学进程 3 MIDI系统的组成 ●音序器 (Sequencer) 用于记录、编辑、播放MIDI的声音文件，音序器有以硬件形式提供的，目前大多为软件音序器。音序器可捕捉MIDI消息，将其存入MIDI文件，MIDI文件扩展名为 .MID。 音序器还可编辑MIDI文件。 ●音源 包含声音样本的资源库，有硬音源和软音源两种。 ●采样器 对声音进行采样，从而满足新增音色的要求 3 MIDI系统的组成 教学进程 一台性能不错的多媒体电脑，装上质量不错的声卡，一对音箱，一个MIDI键盘或带MIDI接口的电子琴（甚至可以用电脑键盘来模拟），再装上专业制作软件及软音源，就可以进行电脑音乐创作了。 一个人就能建立一支大型乐队，怎么样，试试吧？！ 常用软件 CakeWalk Sonar Cubase SX 3 MIDI系统的组成 7 音频处理软件 音频的录制和编辑软件 Windows “录音机” 、Cool Edit、Sound Forge 软件 音频的播放软件 播放CD音乐的软件、播放波形文件的软件、播放MP3格式的软件、播放MIDI文件的软件 音频的格式转换软件 将CD格式转换成WAV和MP3的抓音轨程序，有wav和mp3相互转换的程序。 豪杰公司在其“豪杰超级台乐工作室”把这些程序归到一起组成了两组程序，即“数字CD抓轨程序”和“音乐格式转换器”等。 教学进程 教学进程 8 音频处理的方向 ●语音识别 将语音转化为字符输入 ● 语音合成 将字符合成语音输出 ● 音频媒体的三维化处理 三维虚拟声空间 2.3 语音合成与语音识别 1、计算机语音输出概述 2、语音合成 计算机语音输出的方法： 录音/重放； text -- speech（语音合成） 1、计算机语音输出概述 语音合成（Speech synthesis）是指人们根据语言学的知识，在语音分析技术和语音存储技术的基础上，利用适当方法和手段，重构语音的过程。 要求：understandable, natural 应用： 自动报警, 自动应答, 有声校对, 有声电子邮件, 残疾人服务等 2、语音合成 2.2.6 计算机语音输入和语音识别 2、分 类 3、困 难 1、研究领域与应用 Speech Analysis Who? What? How? Verification Identification Recognition Understanding (说话人验证/识别) (声控打印机,语言翻译机,语音拨号,语言应答器等) (测谎器) 1、研究领域与应用 按可识别的词汇量的多少分：小、中、大 按语音的输入方式分：孤立词、连接词、连续语音 按发音人分：特定人、限定人、非特定人 最终目标：大词汇量、非特定人连续语音的识别 2、分 类 语音变化大，不同人不一样，同一人也会有变化。 语音有模糊性，不同词语听起来很相似。 （如：努力-奴隶，星期-腥气-兴起） 同一字和词的发音受上下文影响而有不同（语音的同化、异化、换位、弱化、脱落等音变现象）。 环境噪声的干扰，例如墙壁与物体对声波的反射会与主声波重迭。 连续语音流不易把单字（词）区分出来（端点检测）如：da-an(答案)与dan(但) 3、困 难 为满足数字电话和数据通信容量日益增长的要求，又要保证传送话音信号的质量，除提高通信带宽之外，再就是对话音信号进行压缩。 例：Internet上的话音数据流的传输率为 64kb/s(单声道，f=8KHz，8位) 使用28.8Kb/s的MODEM无法接受。 1、话音编码概要 2.2.7 话音编码 1）话音波形特性 浊音 清音 爆破音 2）音频信号的处理过程 1、话音编码概要 声音是振动的波，是随时间连续变化的物理量。 振幅 周期 基线——测量模拟信号的基准点 频率——每秒钟振动的次数，以Hz为 单位 周期——两个相邻波之间的时间长度 振幅——波的高低幅度，表示声音的 强弱 ●音频信号的物理参数 教学进程 2.1 声音的基本特性 2.1.1 音频信号的特征 基线 振幅和频率不变的声音信号，称为单音。单音一般只能由专用电子设备产生。在日常生活中，我们听到的自然界的声音一般都属于复音，其声音信号由不同的振幅与频率合成而得到。复音中的最低频率称为复音的基频（基音），是决定声调的基本要素，它通常是个常数。复音中还存在一些其它频率，是复音中的次要成分，通常称为谐音。基频和谐音合成复音，决定了特定的声音音质和音色。 次声波 人耳可听域 超声波 20Hz 20～20,000Hz