第2章媒体及媒体技术-多媒体技术及应用-西安交通大学.ppt

第2章 媒体及媒体技术 2.1 媒体的种类和特点 2.2 听觉媒体技术 2.3 视觉媒体技术 2.4 触觉媒体技术 2.1 媒体的种类和特点 2.1.1 常见的媒体元素 文本 文本是计算机文字处理程序的基础 ASCII 中文 图形 一般指用计算机绘制的画面。也称矢量图。 line（x1,y1,x2,y2,color） circle（x,y,r,color） 2.1.1 常见的媒体元素 图像 图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。 静止的图像是一个矩阵，由一些排成行列的点组成，这些点称之为像素点（pixel），这种图像称为位图（bitmap）。 视频 视频源于电视技术，它由连续的画面组成。这些画面以一定的速率连续地投射在屏幕上，使观察者具有图像连续运动的感觉 2.1.1 常见的媒体元素 音频 波形声音 包含了所有的声音形式，它可以把任何声音都进行采样量化。 语音 人的说话声虽是一种特殊的媒体，但也是一种波形。 音乐 符号化了的声音，乐谱可转变为符号媒体形式。 动画 运动的图画，实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续，也指图像内容上的连续，即播放的相邻两幅图像之间内容相差不大 。 2.1.2 媒体的种类 视觉 2.1.2 媒体的种类 听觉 触觉 其他感觉 2.1.3 媒体的性质和特点 媒体的时间性质 表现需要时间 媒体在时间坐标轴上的相互关系 媒体的语义 媒体的语义是有层次的 抽象的程度不同，语义的重点也就不同 媒体结合的影响 媒体结合是多层次的 媒体结合有利于信息接受和理解 隐喻 交互的概念模型，也称心智模型 由不同的媒体传递的信息的理解程度 由不同的媒体传递的信息的记忆驻留效果 2.1.3 媒体的性质和特点 多媒体数据的特点 数据量大 640x480x256的照片占0.3MB 1024×768×24位的图片占2.3MB 数据类型繁多（黑白、彩色等） 数据类型之间的差别大 多媒体数据的输入、输出复杂： 多通道异步输入法：在通道、时间不同的情况下输入各种媒体数据并存储，最后按合成效果在不同的设备上表现出来。是目前绝大多数系统采用的方法。 多通道同步输入法（正在研究之中的方法） 2.1.3 媒体的性质和特点 多通道异步输入输出 2.1.3 媒体的性质和特点 多通道同步输入输出 2.2 听觉媒体技术 2.2.1 声音心理学 声音的量纲 声音的振动是一种正弦波，声音的变化必须确定三件事：频率（变化的速度）、幅度（产生的压力）、相位（何时开始）。 复杂的波形：傅立叶变换--- SIN波 声音的强度：分贝 声音分贝数=20LOG（I/I0） I0为0.000283达因/CM2 ( 1000Hz能听到的最弱音) 强度差:一万亿倍 2.2.1 声音心理学 140 痛阈。 130 120 大型喷气式飞机附近。 110 打雷。 100 交响乐高潮片断。 90 繁华街道的交通噪音。 80 响亮的音乐声，一般交通噪音及交响乐片断。 70 一米处正常谈话声。 60 典型的办公室 50 普通住宅 40 图书馆及交响乐低潮片断 30 20 安静的语音室及1.5米处小声谈话声。 10 消声室 0 听阈  2.2.1 声音心理学 声音的量纲分为声音的物理量纲和心理量纲。 物理量纲可以用精确的值来描述，但对某一具体声音得来的心理印象却不容易说明白，因为心理印象要由被测者的经验而定。 声音的心理属性和物理属性不可等同 首先，这些关系不是线性的； 其次这些关系不是孤立的； 第三这些关系不是不变的。 2.2.1 声音心理学 声音的三要素：音调、音强、音色 音调：与声音的频率有关，频率快则声音高，频率慢则声音低。 人的听觉范围：20Hz~20KHz 音强（响度）：取决于声音的幅度，即振幅的大小与强弱。 音色：是由混入基音的泛音所决定的。 每个基音都有固有的频率和不同音强的泛音，从而使每个声音具有特殊的音色效果。 2.2.1 声音心理学 2.2.1 声音心理学 听觉特性 等响曲线 掩蔽（masking） 临界频带 相位 自然声音的时变现象 听觉空间 听觉的频谱特性 声音的心理模拟 2.2.1 声音心理学 等响曲线 由于响度与频率和强度相关，所以不同频率上的强度是不一样的。 等响线描述了响度与频率和强度的关系。从图中可以看出，从心理学角度出发，对同一响度的声音在频率和强度上可以有很大的差别。 2.2.1 声音心理学 掩蔽(masking) 声音的响度不仅取决于自身的强度与频率，而且也依同时出现的其他声音而定。各种声音可以相互掩蔽，一种声音的出现肯能使得另一种声音难于听清。 2.2.1 声音心理学 纯音对纯音的掩蔽效果 说明：A、B为掩蔽音。横