Web内容抽取及其数据管理方法.pdfVIP

第 期 张成洪等： 内容抽取及其数据管理方法 # -+/ $$ 文章编号： （ ） !#$%$! #!! !#%!$$%!$ ! !# 内容抽取及其数据管理方法 张成洪，肖军建，张 诚 （复旦大学 管理学院，上海 #!!’’） 摘 要：随着 及其相关技术的飞速发展， 已成为最大的信息集散地 无论对企业还是个人， 逐 ()*+,)+* . -+/ 渐成为最主要的信息来源 然而由于网站数量过多以及 由此带来的信息泛滥，使得有用信息的获取越来越困 . 难 搜索引擎只能提供信息的查找范围，而具体的内容还要靠详细搜查 而且网页信息都是非结构化或半结构 . . 化的，无法直接利用分析工具进行分析. 所以有必要提供一种网页内容 自动抽取及使网页数据结构化的方法， 来简化信息获取的过程和方便信息分析处理. 关键词：数据抽取；网页包装；规则表达式；半（非）结构化；模式匹配 中图分类号： 文献标识码： 0 1!’ . 2 随着 及其相关技术的飞速发展， （ ）已成为最大的信息集散地 上聚 ()*+,)+* -3,45 -65+ -+/ . -+/ 集了大量宝贵的信息，但在获取信息的过程中，却存在如下的问题：其一，其中有用的信息也如同 一 样分布在“ ”，用户难以掌握所需信息的位置；其二，对个人或企业有用的数据混杂在无数其他 -3,45 -65+ 数据中，一般人必须亲 自从网页的大量数据中抽取一点点有用的数据，这样对于数据分析人员，从各个网 页中收集信息将是一个不小的负担；其三，从网上得到的数据都是 789: 文件，很难把其中包含的信息用 于和其他网页信息进行组合和交叉比较；其四，这种 789: 文件无法被 目前流行的分析软件直接使用，除 非通过人工再输入一次来完成数据格式的转换. 为了解决以上困难， 上出现了如 ！等各种搜索引擎，如 ， ， 等 -+/ ;=33 0 ?@3*+ 9,A+*B@65+ C*3DA9E*+, 财经信息检索工具 但它们返回的结果往往数量很大、格式固定，而且每次只能查到一个对象的各个指 . 标，难以利用. -+/ 内容抽取及其数据管理方法可以帮助企业（或其他信息提供商）或个人从 -+/ 上获取有用信息 （包括与企业有业务往来的客户、供应商、代理人、以及企业竞争对手、政府和其他机构发布在 上的 信息） 它可以自动地把所需的网页信息抽取出来，从而避免了用户 自己搜索信息的繁琐与时间的耗费； . 并把抽取来的网页数据转存于数据库中，使非结构或半结构化的数据转换为结构化的数据，以利于用户对 数据进行分析. 对 内容的自动获得和抽取固然是一个重点，但这项工作的完成并不意味着结束 为了更好地为 -+/ . 用户服务，需要构建一个以-+/ 内容抽取为基础的信息系