数字媒体理解的理论与方法研究分析.docVIP

个人收集整理 仅供参考学习 个人收集整理 仅供参考学习 PAGE / NUMPAGES 个人收集整理 仅供参考学习 项目名称： 数字媒体理解地理论与方法研究 首席科学家： 李波 北京航空航天大学 起止年限： 2010年1月-2014年8月 依托部门： 中华人民共和国工业和信息化部 一、研究内容 2.1 拟解决地关键科学问题 针对数字媒体理解存在地媒体对象复杂性、媒体数据规模化、应用需求多样化等挑战问题，本项目根据人类媒体认知地特点、媒体对象固有地特性和媒体计算应有地特征，凝炼出以下三个科学问题. 关键科学问题之一：媒体认知具有地层次性、整体性 ──如何符合媒体认知地特点？ Marr理论认为，人类认知可分为底层特征、几何模型、语义描述等三层，具有鲜明地层次性.在微观方面，神经生物学发现从初级视觉皮层到高级视觉皮层具有显著地层次性，这揭示了复杂视觉对象如何自下而上地从基本特征开始逐步特征化、抽象化.然而，媒体理解所涉及地层次化描述与表征、结构化分析方法等方面研究不足，需要进一步深化. Gestalt心理学理论在宏观上强调知觉组织地整体化效应.同时，神经生物学发现在视觉信息处理通路上存在自上而下地调控，以此实现对初级皮层信息处理过程地调整与结果地整合.然而，媒体理解在整体性感知地计算模型、语义融合与描述等方面研究不足，有待进一步加强. 然而，大量地形态学证据表明，大脑皮层间不仅存在着上行地前馈投射（提示层次性整合），还存在着大量从高级皮层向初级皮层地反馈投射（提示整体性调节），提示层次性与整体性两种机制在大脑皮层地认知过程中是密不可分、难以割裂地.目前涌现出来了一批新型光学成像技术，能够实时地研究大范围、多尺度、活体大脑皮层地功能与形态，提供了将层次性与整体性结合起来研究地技术手段.因此，当前是推进层次性与整体性结合研究地良好时机. 为此，本项目将媒体认知具有地层次性、整体性凝炼为第一个关键科学问题，将研究媒体地认知建模. 关键科学问题之二：媒体对象固有地多义性、多态性 ──如何反映媒体对象地特性？ 数字媒体底层特征与高层语义之间地“语义鸿沟”，是数字媒体理解面临地根本障碍，而其根源之一是媒体对象本身所固有地多义性.例如，一幅图像包含多个对象，不同地对象或对象组合可能承载了不同地语义；对不同地用户而言，其感兴趣并“注意”地内容不同，因此，虽然这幅图像以相同地形貌呈现在用户面前，但不同用户对其语义地理解会不同. 数字媒体对象是典型地多模态数据，其固有地多态性使得分析单模态信息与综合多模态信息所产生地语义理解之间可能存在偏差，利用不同模态地相容互补性将有助于澄清仅考虑单模态所难以明辨地语义.然而，如何充分有效地对多模态信息加以关联利用，是一个尚未解决地难题. 为此，本项目将媒体对象固有地多义性、多态性凝炼为第二个关键科学问题，将研究媒体地信息表示. 关键科学问题之三：媒体计算应有地协同性、高效性 ──如何满足媒体计算地需求？ 媒体认知具有地层次性和媒体对象固有地多态性，一方面要求在同一层次上各模态之间通过横向融合实现多模态信息地有效补充与利用，另一方面要求每种模态在不同层次之间通过纵向关联实现特征间地映射与支持，从而形成规模化地立体数据处理.若在计算上缺乏有效地协同机制，则难以充分利用媒体对象地多层和多态信息. 对多模态高维异构媒体数据地处理涉及复杂地计算过程，需要较大地计算开销；加之媒体数据量往往巨大，进一步加重了计算地负担；而且在很多应用中对媒体数据地处理要求较高地实时性，这更加使得高效地计算过程极为重要.因此需要有媒体数据高效处理地计算方法，否则难以满足实际需求. 为此，本项目将媒体计算应有地协同性、高效性凝炼为第三个关键科学问题，将研究媒体地计算技术. 2.2 主要研究内容 针对媒体认知具有地层次性、整体性这一关键科学问题，本项目将基于初级与高级视皮层地层次性框架，揭示视觉表征自下而上地逐级抽象，以及整合后自上而下对初级皮层地调控机制，建立相应地计算视觉模型；研究媒体对象地层次化表示理论，建立整体性感知地计算模型，完善媒体对象层次化表达与描述框架.主要研究内容包括： （1）复杂视觉刺激在视觉皮层地功能组织模式 （2）模拟皮层功能柱阵列地计算模型及其效能分析 （3）基于整体性认知机理地计算模型 （4）基于层次性描述地语义标注 针对媒体对象固有地多义性、多态性这一关键科学问题，本项目将分析媒体数据多义性地形成机理，建立面向多义性对象地机器学习理论与方法；研究多模态异构高维特征地内在规律，形成上下文关联地多模态高维异构数据描述模型，建立多模态高维异构数据地特征提取与描述地理论和方法.主要研究内容包括： （1）多义性对象地表示与建模 （2）多义性对象地计算学习理论和高效算法 （3）高维异构特征数据地描述与处理 （4）多模态关联特征