多媒体原理和系统设计复习总结.docxVIP

多媒体原理与系统设计 多媒体技术概述 相关基本概念 媒体：信息传输、存储和呈现的载体 新媒体：艺术与现代数字媒体技术结合的新型媒体形态 媒体分类： 感觉媒体：作用于感觉器官的信息形态 表示媒体：以模拟或数字编码形态出现的感觉媒体 显示媒体：(显示器) 存储媒体：(光盘) 传输媒体：(光纤) 多媒体(技术)：融合了两种以上感觉媒体的协同应用系统和技术，以帮助人们获得更丰富的应用体验 超媒体：(媒体的媒体)通过超链接技术构成的多媒体系统 多媒体技术的特点： 媒体形式的多样性 媒体技术的集成性 媒体应用的交互性 应用场景 多媒体电子消费领域 现代教育技术领域 通信领域 军事领域管理与决策领域 表演与会展领域 信息可视化领域 物联网工程领域 Web应用系统 多媒体技术的体系结构  数字音频基础 声音的相关概念 声音的基本物理属性：频率、振幅 声音的三要素：音高、音色、音强 模拟音频(Analogous Audio)：用连续的电流或电压表示的音频信号 数字音频(Digital Audio)：通过采用和量化技术获得的离散性(数字化)音频数据 采样频率：单位时间内采集的样本数，是采样周期的倒数 CD-Audio采样频率为44.1kHz 一般网络和移动通信采样频率：8kHz 量化深度：表示一个样本的二进制的位数(样本的比特数) 声卡的结构及工作原理 功能模块： DSP：Digital Signal Processor(数字信号处理器) Sampling(采样) Quantization(量化) Code and decode(编/解码) D/A Synthesizer：合成器 ROM/RAM：波表 Mixture：混声器(过滤、去噪、切换单/双声道) 数字音频编码 音频编码：将模拟音频转换成数字音频里并以某种格式存储的技术或过程 PCM编码：即通过脉冲编码调制的方式生成数字音频数据的技术或格式 PCM的均匀量化：量化阶跃值是常数的PCM量化 非均匀量化：量化阶跃值为变量的PCM量化(又称非线性量化) μ律压扩：有μ洗漱调节的对数函数型非线性量化PCM编码 A律压扩：由A系数调节的分段函数型线性与非线性组合量化构成的PCM编码 增量调制编码(DM)：通过增量起伏来记录模拟音频信号实际变化过程的数字音频编码(数据量很小，用离散的跳跃信号去仿真(模拟)去逼近输入信号的变化) DM算法描述： y0 = 0； y[0] = 0； x[0] = 1； for (ith sampling not end) { if ( x[i-1] == 1 ) y[i] = y[i–1] + D ； else y[i] = y[i-1] - D ； if ( yi y[i] ) x[i] = 1 else x[i] = 0; }  音频数据处理程序设计 音频数据格式分析 波形音频文件格式：存储数字音频样本序列的格式文件，该文件直接记录的音频的波形 WAVE波形音频文件：使用最广泛，遵从RIFF格式标准 文件结构：RIFF WAVE Chunk、Format Chunk、Fact Chunk、Data Chunk wav数据的bit格式形式： 单声道8bit量化、双声道8bit量化 单声道16bit量化、双声道16bit量化 音频回放与编程接口 使用PlaySound函数 使用MCI函数 基于DirectShow开发包的应用程序：目标是简化在Windows平台上创建数字媒体的任务，通过将应用程序从数据传输、硬件区别、同步中隔离出来 诸多挑战： 多媒体流包含大量需要被快速处理的数据 音频和视频必须同步 数据来源很多：本地、计算机网路、广播、摄像机 数据格式繁多： Audio-Video Interleaved (AVI) Advanced Streaming Format (ASF) Motion Picture Experts Group (MPEG) Digital Video (DV) 应用程序并不能预见终端设备上的硬件 基于Media Foundation开发包的应用程序 基于MF的音频转码程序设计  无损数据压缩编码 熵编码 算术编码(Arithmetic Coding) 行程编码：可用索引+索引对象(重复对象)的方式来表示 字典编码 第一类字典编码:用指向早起曾经出现过的字符串的指针来表示当前被编码字符串 算法：LZ77算法、LZSS算法(LZ77的改进版) 第二类字典编码：从输入的数据流中创建一个短语词典，后续数据流中若出现词典中的短语，则可用该短语在词典中的索引表示该短语，而不需要输出短语本身