图像与MIDI乐曲的信息互映射与一种新颖的可视化方法.docVIP

图像与MIDI乐曲的信息互映射与一种新颖的可视化方法 　　摘 要：本文通过分析图像与MIDI乐曲的信息构成方式，提出了从图像三维信息空间到MIDI四维信息空间之间的互映射转换模型，利用MIDI乐曲的时序关系，提出了一种新颖有趣的MIDI信息的彩色圆圈动画显示方法。实验结果显示，图像信息到MIDI信息的映射转换能辅助创作音乐的动机，MIDI乐曲的彩色圆圈动画能形象地展示乐音的属性与时序关系。 　　关键词：RGB图像；MIDI乐曲；互映射；彩色圆圈；动画 　　0 前言 　　动机是音乐的灵魂，动机通过发展形成乐曲，灵感是产生动机的重要因素，在数字时代，人们在探索利用人工智能方法产生动机，进而发展成乐曲，计算机作曲或者算法作曲技术的发展为音乐的创作提供了一条可行的路线。 　　1957年由Lejaren Hiller第一次利用计算机进行音乐创作，设计了作曲系统Illiac Suite；1960年代初期，Robert Baker和Lejaren Hiller设计了第一个自动作曲系统MUSICOMP[1]，而最著名的计算机作曲系统则是Iannis Xenakis系统[2]，它利用统计与概率方法进行辅助设计等等。在计算机作曲系统中，大量使用了人工智能的方法，如马尔可夫链[3]、遗传算法[4]、高层领域知识[5]和神经网络[6]等。 　　音乐可视化是对音乐表达的一种非主观的解释和判断，是为理解、分析、比较音乐的表现力和内部结构提供的一种呈现技术[7]。它综合利用了音乐、数字音频、图形学、图像处理、虚拟现实等领域的跨学科知识，研究内容广泛，如可视化系统构建、音乐感知模型、情感检测、沉浸式显示等，在娱乐、教育、艺术、商业和数字遗产保护[8]中具有广阔的应用前景。音乐可视化实现方法很多，如水彩画风格的音乐动画技术[9]，基于实时MIDI响应的Music on the Spiral Array系统[10]，三维蠕虫效果[11]，以及基于虚拟技术的ANIMUS框架[12]等。 　　1 图像与MIDI乐曲的映射转换模型 　　1.1 图像像素与MIDI音符分析 　　一幅数字图像由若干个离散的像素点组成，不同的像素点具有不同的属性，彩色图像的像素点由三个基本的颜色RGB构成，每个颜色占用1个字节空间，可以有256种不同的颜色值，灰度图像的每个像素点的值是灰度级，范围是0～255，二值图像的每个像素的像素值不是0就是1。 　　音乐音符有四个基本的属性，分别是音色、音高、时值和力度，在MIDI乐曲中，不同的音轨轨道包含有不同的音色，一个轨道的MIDI音符由三个字节构成，第1个字节为轨道信息和音符开或关的信息，第2个字节为音符的音高信息，范围为0～127，第3个字节是音符的力度信息，范围为0～127，音符的时值由音符的开信号和关信号之间的时间差来决定，时长不定。 　　因此，图像的像素由三维的RGB分量构成，而MIDI乐曲则由四维的音轨、音高、时值和力度构成，图像信息与MIDI信号之间的映射转换就是研究三维空间与四维空间之间的映射关系。 　　1.2 映射转换模型 　　图像信息与音乐MIDI信号之间的互映射转换是一个视觉信息与抽象信息的互转换过程，从MIDI音乐到图像的转换是音乐信息可视化的研究内容之一，从图像到MIDI音乐的转换是图像抽象化的一种有趣探索。这里，分析图像和MIDI乐曲之间的对应映射转换关系： 　　常见的彩色图像有RGB、HIS格式等，图像信息的主要内容是像素的色彩信息，在RGB格式中，每个像素包含有RGB三个分量的图像信息，MIDI乐曲的主要信息是音符信息，音乐乐曲的MIDI音序中包含有k（≥1）个轨道信息，每个轨道中的乐音信息由音高（Pitch）、时值（Duration）、力度（Value）三要素构成，因此，可以在图像的RGB分量与MIDI的PDV要素之间建立对应映射关系，使得图像的单个像素的RGB分量与MIDI的单个乐音PDV要素之间构成互映射转换，见图1。 　　同时，音乐乐曲常有多声部构成，每个声部中的乐音之间有先后的时序关系，并且乐曲的音调和调性制约着乐曲中乐音的呈现方式；而图像中的像素之间并无时序关系，因此需要设计图像中的各个像素与乐曲中的乐音之间的对应关系，常见的方法是按图像的从上到下、从左到右的像素扫描序列对应乐曲中乐音的先后时序。 　　图像像素的RGB向量是三维结构，RGB向量的每一分量取值范围为0～255；乐曲的乐音MIDI信号的PDV向量也是三维结构，其中P分量的取值范围为0～127，V分量的取值范围为1～127，D分量的取值范围为不定。V分量的取值范围虽然为1～127，但是由于乐曲中表示力度的符号一般包括：ppp，pp，p，mp，mf，f，ff，fff等几种定性符号，定性力度符号与定量MIDI信号之