无定义体的表格数据提取技术.pdfVIP

媒体处理 无定义体的表格数据提取技术 【摘要】 随着表格类型的不断增加，银行和保险公司前台的数据输入成本也随之提高。在传统的自动 表格提取技术中，即使很多表格的内容相似，但由于格式不尽相同，我们需要预先为每种不 同格式的表格定义一个叫做“定义体” 的结构以便进行自动识别。为了解决这个问题，我们开 发出了“无定义体” 的表格识别技术。该技术不是通过表格的格式信息，而是通过表格的逻辑 结构来自动提取表格中的数据。在扫描文档（表格，发票等等）以及电子文档（Excel, Word，等）中的数据能够方便地提取出来并用于数据检索和文档内容的提取。本技术通过 半自动的输入辅助实现了对数据输入/提取成本的节省。 【技术要点】 1) 与表格格式无关的“无定义体”表格识别技术 利用表格的逻辑结构，而不是格式信息。首先，根据“通用逻辑结构”提取输入表 格的标题（比如，“姓名” ，“ 日期” ，等）。在通用逻辑结构中定义了表格中的常 用词汇以及建立在词汇意义之上的词汇分级结构。然后，标题对应的数据被自 动提取出来。 2) 基于概率网络的灵活的逻辑结果分析 我们系统中的概率网络能够解决如下问题： a. 标题的变化（比如，“生日”和“出生日期” ）， b. 由于OCR （光学字符识别）带来的识别错误， c. 逻辑项的缺失。 半自动输入辅助系统 扫描 数据库 “申请书” 检索，提取 不同/未知版面的‘表格 “姓” “生日” “ 电话” 申请表 “王” “7/22/1971” “8610-1234-5678” 通过逻辑结构分析提取数据 姓 生日 年龄 电话号码 电电 话话 数据 数据 数据 数据 申请表的通用逻辑结构 输入表格中被识别出的逻辑结构 图一: 不同版面格式的表格处理技术 Copyright©2007 Fujitsu Laboratories Ltd. All Rights Reserved, 1 Fujitsu Forum Beijing 2007 表格1 表格2 通用逻辑结构 姓名 姓 名 姓名 姓名 数据 数据 姓 名 姓 名 “李” “ 明”