一种图象向音乐化的方法.docVIP

一种图象向音乐转化的方法 1 图像与音乐的对应关系[2]-[4] 无论是西方社会还是东方社会，都有人把音乐与颜色对应起来。例如，早在十七世纪物理学家牛顿就曾以赤、橙、 黄、绿、青、蓝、紫对应于C、D、bE、F、G、A、bB七个音名。音乐的高低指音响有规律的排序即由低到高再由高到低形成一种和谐的阶梯式音列；音乐 的旋律是指一条条由音符串缀起来的线条，它是根据人的情感的高低起伏将音符或级进或跳跃组合形成的；而图像中多彩缤纷的景色也是根据人的情感用丹青层层递 进绘出的。音乐中音调的变化快慢，即音的长短，形成了节奏。节奏在音乐作品中总是与节拍结合在一起的。音无论长短，在一个小节的单位范围内，其奏鸣总有循 环往复的轻拍与重拍的交替。一般而言，节奏由于有了强弱节拍的内在韵律，又由于有音的长短内外对比的交错，往往显示一种力度。这种力度正是支持旋律流动的 支架。由于节奏支撑着音调，在时间过程中展开，因此，它就与音乐进行的快慢息息相关。而速度快慢可以使音高与长短，即旋律与节奏产生不同的表现效果；对于 图像而言，它本身也有色彩、亮度等变化剧烈或平缓的表现，人们形容图像作品时也常用诸如明快、暗淡、柔和、粗犷之类的音乐术语进行描述。 音乐是在时间中展开、以诉诸听觉的声音为基本材料的艺术。因此时间及表示声音基本特征的音调、音强、音色就构成了音乐的基本要素。在人的 体验中，听觉的高频音和视觉中明亮的色调具有一种潜在的联系，这种联系给人以“上升的感觉”；反之，听觉中的低频音与视觉中黑暗的色调由于与“下沉的感 觉”相类似而被联系在一起。音调越‘低沉’，体验到的颜色越‘深’；反之，较‘高’的音调会引起‘浅’亮的感觉。因此可以看出，音乐与颜色有着明显的直觉 类比关系。因此直觉体验方向上的相同就使不同感觉视觉与听觉　之间发生同构联觉。 2 图像向音乐的转化 图像向音乐转化的系统框图如图1所示，首先将图像文件中的数据读入文本文件；再对文本文件中的数据进行处理；然后将处理后的数据转化成规定好的“音乐符号”；最后将“音乐符号”转换成MIDI音乐。 读取图像信息 → 图像数据的处理 → 数据向音符的转化 → 音符向MIDI音乐的转化 图1 系统框图 由于音乐与颜色之间存在直觉类比关系，所以本文中图像信息向音乐的转换不是指通常意义上的多媒体技术，而是利用图像与音乐之间的对应关系，根据一定的科学与艺术规则提出相应的算法，对图像的原始信息进行处理后转化为MIDI音乐。 2.1 图像数据的读取与颜色模型 本论文是用24位真彩BMP文件格式存放图像RGB的灰度值，但由于HSV（色彩H、饱和度S、明度V）模型是直接与艺术家使用颜色的直 观表现相联系的，所以为了更贴近人的感觉，本系统进行处理的图像数据采用的是颜色模型HSV中的色彩(H)信息。这里通过式(1)所示的RGB模型与 HSV模型之间的转换关系式将RGB模型的灰度值数据转换为HSV模型的数据。 图像与音乐的最大区别是：图像是在二维空间展开，而音乐则是一维时基类媒体中展开的。由于音符必须有一个时间延续方向才能组成乐曲，所以按照大多数人欣赏书画的习惯，本论文采用图像的纵向（由上而下）为数据的处理方向，即为音乐的前进方向。  令maxRGB=max(R,G,B) minRGB=min(R,G,B) dalta=max RGB-min RGB 如果delta=0,则 H =未定义 S=0 V=max RGB 否则delta≠0,则 H= G-B ｘ60 (R=max RGB) dalta H= (2+ B-R )ｘ60 (G=max RGB dalta H= (4+ R-G )ｘ60 (B=max RGB dalta S= delta maxRGB V=max RGB 最后，如果H小于0，则 H←H+360 2.2 图像数据处理 根据图像中的色彩与音乐中的音调的对应关系，考虑到图像各部分色彩的过渡性及色彩过渡的模糊性，即相邻像素间的相关性和图像界限的不确定 性，以及14个可用的标准MIDI通道（共有16个通道，其中两个为其它特殊用途）。将图像在横向上近似平均分成14个部分（每个部分都有n列像素），将 图像的色彩数据进行处理。首先将第1部分的各列数据按列求算术平均值后，作为第1列数据；然后将第1、2两部分数据求算术平均值后作为第2列数据；再将第 1、2、3三部分数据求算术平均值后作为第3列数据；依此类推···，将图像中所有列数据求算术平均值后得到第14列数据。即第i列第j行数据为: new_data[i][j]＝ M old_data[i][k]/M (2) ∑ k=1