多媒体技术研究所.pptVIP

多媒体技术研究所 第 3 章 声音（1） 一、声音的数字化 1 什么是声音？ 2 声音的分类（1） 按频率划分： 次声(Infra-sound) 0-20Hz 可听声 (Audio) 20-20kHz 超声 (Ultrasound) 20kHZ-1GHz 可听声中，声音分为： 语音,言语 ( speech ) 300-3400Hz 全频带声音 20-20kHz 音乐 ( music ) 其它声音 (effect sound, noise) 声音的分类（2） 数字波形声音 语音 音乐 效果声 数字合成声音 合成语音 MIDI 3 声音信号的数字化 数字波形声音的基本参数 sampling frequency(取样频率) quantization bits(量化位数) number of sound channels(声道数目) encoding method ( compression method )(压缩编码方法) bit rate(码率，比特率)，每秒钟的数据量 数字化声音举例 4 数字声音的文件格式 .wav (waveform)，主要用在PC上 .mp3, MPEG Layer III , .rm，.ra(RealAudio), RealNetworks的流式声音文件 .wma，微软公司的流式声音文件 .aif (Audio Interchangeable File Format)，苹果机 .mid .tts 5 声音获取设备 麦克风 动圈式麦克风Moving-coil MIC (Dynamic) 利用声波推动震膜，震膜带动线圈，利用磁力线的改变产生微弱的电压。例 电容式麦克风Condenser MIC 丝带式麦克风RIBBON MIC 压电式麦克风PIEZO-ELECTRONIC MIC 麦克风的指向性(Directional) 指向性是指话筒灵敏度随声波入射方向而变化的特性 区分： 心型指向指向麦克风 超心型指向麦克风 全指向麦克风 8字型球指向麦克风 声卡 (sound card ) 用途： 波形声音的获取、编码； 波形声音的重建、播放； MIDI声音的输入； MIDI声音的合成、播放； (CD-ROM 驱动器的控制，CD-DA声音的播放。) 声音卡结构图 声卡的性能参数 最高取样频率、量化精度； 输出功率（1~10W）； 是否支持波表合成，波表的容量； 芯片类型：Advance Logic，Aureal，ESS… 支持的API：D3D、A3D、EAX… CPU占有率 Money 数码录音笔 二、波形声音的编辑 1 常用声音编辑软件 Cool Edit Sound Forge Digital Audio … 2 声音的基本编辑操作 声音剪辑 音量调节 声音反转(Reverse) 时间压缩/拉伸 直流噪音消除 声音频谱分析 3 声音的效果处理 混响/回声/延迟（Reverb/Echo/Delay） 和声（合唱）效果（Chorus） 动态（压限/门/扩展）效果（Dynamics） 升降调（pitch） 镶边、颤音、失真等 4 格式转换功能 将不同取样频率和量化位数的波形声音进行转换 将不同文件格式的波形声音进行相互转换 将wav格式声音与MP3声音进行相互转换转换 三、数字音频的应用 1、IP电话 2、交互式语音应答系统（自动声讯服务） 3、呼叫中心 4、声音欺骗系统 5、用光盘听书 6、Internet上的实时音频 四、语音合成(Speech synthesis) 1 概述 语音合成：利用适当的方法和手段，从文本、概念或意向通过合成产生语音的过程。 语音合成的3个层次： 从文本到语音的合成（Text-to-Speech，简称TTS）； 从概念到语音的合成（Concept-to-Speech）； 从意向到语音的合成（Intention-to-Speech）。 文语转换的要求 对合成语音的要求： 可理解 自然 低延迟 语速可变 声音可变 语言可变 应用： 声讯服务，自动应答, 有声电子邮件, 残疾人服务, 自动配音等. 语音基础知识 音素(phoneme)是语音的最小单位。音素分为： 元音(vowel)（浊音），不受声道阻碍的音。 辅音(consonant)（浊音或清音）， 受声道阻碍的音。 英语语音 每字(词)一个或几个音节(syllable)（多音节字） 音节由一个或几个音素组成 英语的音素： 元音20个 辅音28个 汉语语音 每字一个音节(syllable)（单音节字） 音节由一个或几个音素