内蒙古工业大学多媒体技术(第2章)讲义.ppt

第二章 多媒体数据编码基础 数字音频编码 数字图像编码 数字视频编码 多媒体数据转换 2.1 数字音频编码 声音的种类 声音是携带信息的极其重要的媒体，是多媒体技术研究中的一个重要内容。声音的种类繁多，如人的话音、乐器声、动物发出的声音、及其产生的声音以及自然界的雷电、风声、雨声、闪电声等等。 声波 声音是通过空气传播的一种连续的波，叫声波。声音的强弱体现在声波压力的大小上，音调的高低体现在声音的频率上。声音用电表示时，声音信号在时间和幅度上都是连续的模拟信号。声波具有普通波所具有的特性，例如反射（reflection）、折射（refraction）、和衍射（diffraction）等。 音频的基本特性 声音是由振动的声波所组成，在任一时刻t，声波可分解为一系列正弦波线性叠加： f(t)= ΣAnsin(nωt+φn) 其中, ω称为基频或基音，它决定声音的高低；nω称为ω的n次谐波分量或称为泛音，与声音的音色有关; An是振幅,表示声音的强弱；φn是n次谐波的初相位。 音频数字化 波形音频是以数字方式表示音波。它是用声卡(包含ADC和DAC)来录制与执行播出声音的。计算机对声音表示主要通过采样产生一系列声音数据。 事实上, 声波按频率可分为4类, 其中多媒体系统仅处理人类的听力所接受的频率范围的声音，我们称之为音频, 这个频率范围的音波称之为声音信号。 声音的频率分类 声音信号数字化 从模拟过渡到数字： 回顾历史，大多数电信号的处理一直是用模拟元器件对模拟信号进行处理。但是，模拟信号处理元部件相当困难的，而且成本高。 用数字来表示模拟量，对数字信号进行计算处理，那么难点就发生了转移。把开发模拟运算部件的问题转变成开发数字运算部件的问题，这就出现了数字信号处理器（digital signal processor,DSP）。 在数字域做信号处理的主要优点: 首先，数字信号计算是一种精确的运算方法，它不受时间和环境的影响； 其次，表示部件功能的数学运算不是物理上实现的功能部件，而是仅用数学运算去模拟，其中的数学运算也相对容易实现； 此外，可以对数字运算部件进行编程。 模拟信号与数字信号： 我们把在时间和幅度上都是连续的信号称为模拟信号。 在某些特定的时刻对这种模拟信号进行测量叫做采样（sampling），由这些特定时刻采样得到的信号称为离散时间信号。 采样得到的幅值还是连续的。如果把信号幅度取值的数目加以限定，这种由有限个数值组成的信号就称为离散幅度信号。 我们把时间和幅度都用离散的数字表示的信号称为数字信号。 通过规则时间间隔测出音波振动幅度从而产生一系列声音数据。这种测出数据方法称之为采样,一秒内采样次数叫采样率。 采样的离散音频数据要转换成计算机能够表示的数据范围,这个过程称之为量化 。 量化后数字音频存储量计算公式 音频数据存储量(字节)=采样率(Hz)×量化位数(位)×声道数×音频长度(秒)/8 MIDI (Mussical Instrument Digital Interface) 1980年制定一项工业标准,目的是让音乐及合成音可以经由一串消息在不同的设备上交流传输。 MIDI提供电子乐器与计算机之间的连接器接口。定义物理连接与电子乐器沟通的协议。 MIDI也定义音频的形态与存储的方法。MIDI音频是以消息的方式而非波形的方式组成。 MIDI有三种连接器(In、Out、Thru)。 In为输入, Out为输出,而Thru是用来扩充MIDI与其它设备连接用的。 音序器可以将音乐等声音以一种序列来储存。所谓序列便是一连串的音符加上系统事件的命令。 MIDI适配器是用来改变频道、路径与按键的。当电子琴的键盘与一般的MIDI规格不一致时可以经由适配器来修正使两者一致。 MIDI音频文件 MIDI音频文件是一串时序命令,它记录音乐的行为。 命令消息分为频道消息(频道声音消息、频道模式消息)和系统消息(系统实时消息、系统通用消息与系统专用消息)。 它的文件占用很少存储器空间。 MIDI不适合编制口语旁白的音频。 数字音频可从麦克风、录音带、CD、电视及其它来源获取。它把声音转换成储存体中数字信息。 数字音频较为稳定,容易保持一致性,音频品质也较易获得保证。 缺点是记录非常详尽,数据量极大,文件较MIDI音频大出200倍以上。 它可以适合任何一种音响。 3D音频 3D音效可分为以下几类： （1）扩展式立体声。 （2）环绕立体声。 （3）交互式音效。 支持3D音频API种类: DirectX DirectSound 3D; Aureal 3D; EAX; Sensaura; Qsound; 杜比AC-3; 数字化影院系统D