第12篇 章　图象理解理论和系统 图像工程(第2版)下册图像理解.ppt

章毓晋 (TH-EE-IE) 12.2.3　关于马尔重建理论的讨论 2.　不需重建的表达 “精神表达语义”（semantics of mental representations） 用自然的和可预测的方式来进行表达 特征检测器构成了视觉世界中的某种特征存在性的表达 对整个目标和场景的表达可以随后根据这些基元（如果基元足够多）来构建 章毓晋 (TH-EE-IE) 12.2.4　新理论框架的研究 1.　基于知识的理论框架 (1) 利用对感知组织的处理过程，从图象特征中提取相对于观察方向在大范围内保持不变的分组和结构 (2) 借助图象特征构建模型，在这个过程中利用概率排队的方法减小搜索空间 (3) 通过求解未知的观察点和模型参数寻找空间对应关系，使得3-D模型的投影直接与图象特征相匹配 章毓晋 (TH-EE-IE) 12.2.4　新理论框架的研究 2.　主动视觉理论框架 (1) 选择注意机制 (2) 注视控制 章毓晋 (TH-EE-IE) 12.3　图象理解系统模型 12.3.1　系统模型结构 12.3.2　多层次串行结构 12.3.3　以知识库为中心的辐射结构 12.3.4　以知识库为根的树结构 12.3.5　多模块交叉配合结构 章毓晋 (TH-EE-IE) 12.3.1　系统模型结构 系统性能将主要取决于两方面的因素： (1) 在总体上是如何组织的，由哪些模块组成，模块间如何联系 (2) 每个模块内采用了何种技术，如何对信息进行加工 典型系统模型 松散的知识库模型 * 第*页 第11讲 章毓晋 清华大学电子工程系 100084 北京 图象工程（下） 章毓晋 (TH-EE-IE) 第12章　图象理解理论和系统 12.1 从感知到理解 12.2 图象理解理论框架 12.3 图象理解系统模型 12.4 具体系统分析 12.5 典型系统比较 12.6 讨论和展望 章毓晋 (TH-EE-IE) 12.1　从感知到理解 1.　感知理解的研究方法 (1)　分析方法 分析方法从分析视觉刺激开始 得到了对大脑结构研究结果的支持 已发现存在完成基本功能的特殊细胞，例如 感知边缘、线条、运动方向等的细胞 建立在不变假设上。对一个给定的视网膜投影模式，可以认为有无穷个可能的场景会导致该模式的产生。不变假设认为，在这么多个可能的场景中，观察者总会选择一个且只选择一个 章毓晋 (TH-EE-IE) 12.1　从感知到理解 1.　感知理解的研究方法 (2)　综合方法 试图在感观刺激中找出所观察世界的等价物 认为视网膜上的光学图象（包括图象随时间 的变化）应该包含感知空间目标所需要的全 部信息 其基于思路是复杂和密集的视网膜刺激可帮 助进入视觉世界的不变量，即其最基本和本 质的特性 章毓晋 (TH-EE-IE) 12.1　从感知到理解 2.　图象理解系统 完成视觉感知理解的系统是图象理解系统 视觉信息从广义上说包括： 由人类视觉系统感知的信息 由人类发明的各种视觉装置所获取的信息 以及由这些信息推导出的其它表示形式 从上述这些信息中抽象出来的高级表达和行为规划以及与这些信息密切相关的知识和处理这些信息所需的经验 章毓晋 (TH-EE-IE) 12.2.1　马尔视觉计算理论 马尔1982年出版了《视觉》一书 Marr D. 1982. Vision ? A Computational Investigation into the Human Representation and Processing of Visual Information. W.H. Freeman 一个理解视觉信息处理的框架 要先理解视觉目的再去理解其中细节 章毓晋 (TH-EE-IE) 12.2.1　马尔视觉计算理论 1.　视觉是一个复杂的信息加工过程 视觉是一个远比人所想象更为复杂的信息加工任务和过程，而且其难度常不为人们所正视 为理解视觉这个复杂的过程，要解决两个问题 视觉信息的表达问题：某些信息是突出的和明确的，另一些信息则是隐藏的和模糊的 视觉信息的加工问题：对信息处理、分析、理解，将不同表达形式转换，逐步抽象 章毓晋 (TH-EE-IE) 12.2.1　马尔视觉计算理论 2.　视觉信息加工的三个要素 ①　计算理论；②　算法实现；③　硬件实现 ①　计算理论 可计算性问题：一个任务要用计算机完成，它应该是可以被计算的 一般对于某个特定的问题，如果存在一个程序，对于给定的输入，这个程序都能在有限步内给出输出，这个问题就是可计算的 章毓晋 (TH-EE-IE) 12.2.1　马尔视觉计算理论