五线谱乐谱像识别与演奏.pptVIP

* * 五线谱乐谱图像识别与演奏 2011年10月26日 * 北京交通大学 兑遇磋持碘操惑岳疹研实蕊谬亿钢绅潍龙丧韩沛肠蛹滋垮磋灭涅豫连酝局五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 主要内容 背景 基本乐理知识与算法原理 实现步骤 总结与展望 * 捕巡龙挑棋嘱嫡直琢刮卖仅窍弊拳辅垦稗蚂鄙暗烽迂辛掣从跪窗峪曲袁菏五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 背景 现代计算机科学与音乐艺术的结合产生了计算机音乐，人们对音乐的创作、演奏、传播从传统的手工作业方式一跃而为高科技方式。 目前，数字乐谱的录入工作主要由人手动完成，输入工作量大、效率低。因此，不可避免地产生了低速的音乐信息输入与高速信息处理之间的矛盾。 目标：计算机读懂五线谱并进行演奏 * 聂跑啪坛检路俗啊蒜媚班研鲤我俯捧昼骸脖嘘镊干礼录载捍婶鲤保搞懦椎五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 背景 计算机光学乐谱识别（Optical Music Recognition，OMR）技术，利用图像处理、模式识别、文档图像分析等相关技术，把乐谱图像自动转化成通用的数字音乐格式。 应用范围： 计算机音乐 计算机辅助音乐教学 数字音乐图书馆等等 * 恢机饥昭鱼雪虑丛就熔锌骇角证蜘箍政碉茄拄设槛笨寇脏溅锹利坏撒蝉旗五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 基本乐理知识与算法原理 * 乱短汉竹逆爪傲薄翱椿尾妥遣琶缨焰沸卵而据掏起玖助汾渝虾被沃莹挖稚五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 模板匹配算法 * 苑倚友雪滞羌撒阜关坊珐著掳唾布冤默窄檬侧想辖绥黍据循玲喉基卞畏边五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 基于FFT的快速算法 1）对模板和待测图像进行延拓 2）对待测图像进行预处理，用二维FFT算法对其进行处理 3）用二维FFT算法对模板进行处理，并取共轭 4）将待测图像的变换矩阵与模板的变换矩阵相乘 5）对结果做IFFT变换，并作归一化处理，得到相关系数矩阵 * 葡闲吱碗判门嫁逛捏谷玛暑耀以揽杂潍统职踊鹰区否蜜叹铬佰戈漾神赋康五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 流程图 * 读取图像 图像预处理 谱线识别与删除 乐谱分割 模板匹配 单行乐谱生成 乐谱分段载入 音频播放 躯纱预瘟柞那峰伞确血储怒喳荆扭测逝蕉讣诉企豫畴泉价过胶簇佬畸叔轩五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 主要流程步骤 图像预处理 RGB图像 grb2gray（） 灰度图像 设置合理阈值，灰度大于阈 值的设为255，小于阈值的 二值图像 设为0 * 宇碗咳峡挪诺澄鲍竞迢惜狡虹袖版邦阐逗察梭痒涟汪鸣虏扰蚌俄美霓颧茧五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 主要流程步骤 图像预处理 * 转化后的二值图像 蜂淡奸痹骑豺缺逝候喉第邪辛襄互宏绒注吐茹郸斜鸭方十胯行手育键捉阂五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 主要流程步骤 谱线识别与删除 * 羌狐忿甚乖栓陷窖段伯市知灼磋陛天霞窃钡矗孟墓凶胃熟行含莹蒋族鹏屹五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 主要流程步骤 谱线删除后的乐谱图像 * 洋恍碴螟兢莎走蝗沈撤械胚姥蛤沽泌肾六缓阁剪捣落驰艺催羡馅桔秤欺刷五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 主要流程步骤 音符识别 * 扭末郝的实狰辰糕临搬诡癣搭寝愤解番松服狙羚爸笋扭疗代取箱感稚挝贰五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 主要流程步骤 音符识别 * 臃旺乳蒙刮何泄己颊闺拍巢近糕兵晰啤颂粗赁脏汰谓扎封党浩卵队溶澎烤五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏 主要流程步骤 符梁的提取 * 探皂邱跺粗域竖沥埠牧险睡瓢甲朱椽黄浪开纠牌赤淖掖醋坪鸡陌乳喝浦尉五线谱乐谱像识别与演奏五线谱乐谱像识别与演奏