基于dsp的简谱识别和盲文乐谱转换算法研究与实现.pptxVIP

第1页/共31页2013—2014 TI DSP及嵌入式大奖赛 设计报告2014.04.24第2页/共31页基于DSP的简谱识别和盲文乐谱转换算法研究与实现学校：东北大学指导教师：刘纪红参赛队员：苗晨晨、詹珍雅、魏祎 （研一）（大三）（大三）第3页/共31页背景介绍1目录设计思路2实现方法3结果展示4设计改善及应用前景5第4页/共31页背景介绍1 背景资料长时间以来，歌谱的学习和传递主要通过两种传统的方式：口头传授和以文本形式记录学习。通过阅读国内外文献，发现目前对于光学乐谱识别的研究主要集中在对于五线谱的研究方面，对于简谱的识别研究非常少。然而在国内主要使用的乐谱仍然为简谱，所以对于简谱符号的识别研究极为迫切。 中国是全世界盲人最多的国家之一，眼部疾病在中国也是一个主要的公共卫生问题。盲人虽然视力上有一定损失，但是听觉和触觉都正常甚至优于正常人。第5页/共31页背景介绍盲人与正常人识谱对比图　由上图我们可以看出，盲人与正常人识谱的区别，盲人靠触摸来识谱进而学习音乐，那么，这就需要进行盲文乐谱的编写，需要有较精确的乐理知识和盲谱编写规则知识以及大量的时间和精力。第6页/共31页背景介绍2 灵感来源与设计目的　近年来，随着计算机软硬件技术的飞速发展，嵌入式系统的存储能力和计算能力获得了很大的提升，嵌入式设备越来越多地被应用于各个领域。　因此，我们就想研究一种基于DSP的将明文简谱识别并转换为盲文乐谱的系统。这种盲文乐谱是辅助盲人学习音乐知识的有效工具，凭借感知点阵式音符，盲人可以准确识别、了解更多的音乐方面的知识，方便盲人识谱及学习音乐知识。第7页/共31页背景介绍3 创新点　（1）、在国内主要使用的乐谱仍然为简谱，而中国还未有人涉及计算机盲文乐谱转换这个领域。　（2）、使用OMAPL138平台，OMAPL138包含有ARM9处理器内核和C6748DSP内核，其C6748DSP内核可以很好的实现图像处理算法，而ARM9可以在控制上提供良好的性能，实现界面的设计来完成人机交互。　（3）、首次提出采用Davinci（达芬奇）架构的ARM+DSP双核芯片实现盲文乐谱的转换，并且该架构可以省电，功耗低，稳定性好。 第8页/共31页背景介绍4 简谱知识简介简谱乐谱 第9页/共31页背景介绍5 盲文乐谱简介盲文音乐符号第10页/共31页设计思路简谱识别及盲文转换流程图第11页/共31页设计思路1 图像处理第12页/共31页设计思路1.1 OTSU法对图像二值化处理　大津法，又称最大类间差法，基于整幅图像的统计特性，实现阈值的自动选取的一种全局阈值法。　在进行简谱图像二值化时，首先将其转换为灰度图像，然后对其进行二值化。　经过二值化之后，图片中保留了简谱中所有的有用信息，但是把不必要的虚线当做背景处理了。另外，使用OTSU法可以非常好的保留几乎全部的简谱中的有用信息，因为有的下划线可能因为颜色比较浅，使用别的二值化方法会丢失这些信息数据，但是使用OTSU法来二值化简谱图片却不会。第13页/共31页设计思路1.2 简谱行的提取第14页/共31页设计思路1.3 简谱图片的去噪处理　简谱中有很多附点或者是数字下面加点，对于这类的符号都需要单独提取，然后根据坐标关系来确定其具体的符号。然而如果简谱图片中存在很多噪声点，那么在进行符号分割提取的时候，可能就把这些噪声点也当做附点或者低音组符号中的小点了。　在进行去噪处理时，第一步可以把连通域内像素点个数小于4的都去掉；另一方面，可以根据其坐标位置来确定其是有用点还是噪点，比如，有用点一般都在数字的上或下面，或者是在数字的后面，但是坐标位置与数字的平均纵坐标值大致一样，如果不属于这个范围，则认为是噪点。　　第15页/共31页设计思路1.4 简谱符号的分割　本作品选择垂直投影分割和连通域标签类分割相结合的方法来对简谱符号进行分割处理。第16页/共31页设计思路1.4.1 垂直投影分割法　垂直投影分割法就是对二值化的字符图像的像素个数在垂直方向上进行统计，因此在有字符的区域其统计值大，而字符间隙区域的统计值则较少，经过检测，利用投影图的波谷来确定字符的边界。分割效果图第17页/共31页设计思路1.4.2 连通域标签类分割法　二值图像连通区域标记法指的是，通过对不同连通区域做标记，属于同一物体的像素点会赋值为同一个标签类号码，属于不同物体的像素将被赋予不同的标签类号码，然后根据标记将二值图像中的不同物体分割开来。分割效果图第18页/共31页设计思路2 简谱符号识别　　支持向量机（SVM，Support Vector Machine）是基于结构风险最小化原则理论的一种具体实现。SVM示意图第19页/共31页设计思路2 简谱符号识别第20页/共31页设计思路3 简谱的翻译第21页/共31页设计思路3.1 简谱符号重