基于达芬奇框架的多媒体信息处理平台的构建与实施.docVIP

　　基于达芬奇框架的多媒体信息处理平台的构建与实施----多媒体设计论文 --本文为媒体专业论文，主要研究基于达芬奇框架的多媒体信息处理平台的构建与实施。 第1章绪论 1.1引言 在嵌入式处理器领域,多核架构处理器是未来处理器发展的主流趋势,异构多核处理器是一个重要的方向[1],而且多核处理器已经成功地应用于多种嵌入式终端。嵌入式多核处理器可以进行算法和并行处理,比传统的单核处理器的处理能力强大很多,可以为各种复杂算法应用提供良好的硬件平台。其中TI公司推出的基于ARM+DSP架构的异构双核处理器就是比较经典的处理器平台架构之一,它颠覆了传统的多媒体数字信号处理方式,将ARM核丰富的应用处理能力和DSP核强大的数字信号处理能力无缝地结合到一起[2],使得开发的多媒体应用不仅具有很强的复杂算法功能,还能具有完善的应用层操作界面。 VoIP通信技术及其应用在发达国家已很成熟且得到广泛应用,但在中国及大多数发展中国家,VoIP通信技术及其应用还不是特别成熟且还有待推广和发展。基于VoIP技术的音视频通信系统应用相比电信通信费用低廉很多,吸引了人们越来越多的关注。当前全球最快的bps,新一代髙速无线局域网,即第五代802.1 lac标准的5G 3730将擅长多任务管理的ARM处理器和适合复杂信号处理算法的DSP处理器融于同一个芯片中,可以将ARM处理器从沉重的算法处理负担中解脱出来,集中进行上层多媒体应用的处理。 在ARM+DSP异构双核处理器平台上开发应用比传统的单ARM核或DSP核要复杂得多,ARM核与DSP核的互相访问、数据传输等是个难题。达芬奇软件框架可以解决异构双核之间的数据共享和通信等问题[9]。当然,ARM+DSP异构双核处理器平台的音视频应用必须符合达芬奇软件框架才能使其协同一致地工作。DSP核开发的算法必须符合xDAIS或xDM(xDAIS for Digital Media)数字媒体算法标准,xDM是xDAIS(eXpress DSP Algorithm Interface Standard)算法标准的扩展,xDAIS 和 xDM 标准提供了一系列编码规范和原则,从而使得多个算法更容易、更快地集成到该平台。开发者通过xDAIS和xDM规范可以实现算法存储器资源的统一管理。 当前,达芬奇平台DSP可用的语音编解码库有G.711、G.726和G.729等编解码算法,其中G.729算法在节省带宽和提供高质量语音方面综合表现最佳,特别适合VoIP的应用。但G.729编解码器的实现都是第三方商用软件并且不是幵源的,在DM3730平台上还没有免费的幵源G.729编解码软件可用。达芬奇平台DSP端可用的视频编解码库包括JPEG、MPEG2、MPEG4和H.264等多种编解码器,但是针对DM3730平台只有商业公司提供的H.264编解码器,不是开源的,无法自主添加自定义的特定视频功能,并且对于一般应用无法承受较高的授权费用。另外,虽然H.264具有很高的压缩比,可以很大程度上节约宝贵的带宽资源,但是其算法复杂度也高,如果要求实时编码,一般处理器芯片很难胜任[19]。所以,根据DM3730处理器平台的特点并结合G.729A和H.264编码算法特性实现符合自身系统要求的音视频应用仍具有一定的研究意义,而且G.729A和H.264在达芬奇平台上的移植和优化也还有一定的提升空间。 1.2.2课题的研究意义 根据当前3730异构双核处理器平台的音视频实时通信系统,其主要意义包括以下几点: 1.硬件上采用比较新颖的便携式高性能嵌入式硬件平台ARM+DSP异构双核处理器DM3730,该处理器结合了 ARM核运行应用和DSP核运行算法的优势,充分发挥了双核的处理能力,运算能力强且速度快,具有较强的可扩展性[11],可以极大提高嵌入式音视频应用的能力。 2.操作系统平台釆用QNX嵌入式实时操作系统,由于QNX具有微内核,其实时性和可靠性都大大提高,在本系统中通过将其移植到开发板上使用。 3.本系统采用达芬奇软件框架进行软件开发,达芬奇框架可以同时集成音视频等多种算法于一体,由于其标准化和模块化的设计,使得系统具有较高的可重用性、可维护性以及可移植性,简化了系统应用程序的开发,缩短了开发周期。 4.该系统通信会话控制基于SIP协议,可以绕开电信运营商的收费,费用低廉,可以大规模推广使用。 ARM+DSP异构双核处理器平台给当前的通信手段提出了新的思路和新的开发方式,因此对基于异构双核处理器和嵌入式实时操作系统的音视频实时通信系统的研究具有某些方面的先进性和一定的现实 --意义。 1.3研究目的和主要技术路线 本系统的主要研究目的就是研究如何在ARM+DSP异构双核处理器DM3730上基于达芬奇软件框架进行音视频实时通信系统的研究与设计。系统主要按照以