Wbia Project设计计划.docVIP

Wbia Project设计计划 小组成员：郑晓东，蒙新泛，周彬，王婵娟 项目名称： 地产信息抽取系统 项目动机和意义： 随着互联网的迅速普及，信息技术的发展，网络已成为人们获取地产信息的重要来源。但是各个地产信息网站结构各异，形式多样，人们要花大量的精力才能找到自己需要的信息。 此外，网络资源众多，有关租房的成型规模的网站就有成百上千。用户要想租房时去查找所有的网站上的租房的信息是不实际的。但是只查找几个网站上的租房的信息，就会由于资源数量有限找不到合适自己的地产信息，用户可选择的信息太少。 从海量的地产信息中抽取出有用的资源，是当前迫切需要解决的问题。 系统功能： 本系统能检索到那些有地产信息的网站，定时对这些网站中网页上更新的地产信息进行地产信息抽取。将抽取出来的信息生成地产资源库。当有用户检索想要的租房信息时，他只需向系统中写入地点要求，价格要求，户型要求等，系统就可以给用户以相应的信息。 技术路线： 本系统初拟从三个不同的思路实现对地产信息的抽取，三个领域分别是基于半结构文本的抽取，基于规则的抽取，和基于PAT数组的抽取。Web信息抽取的文本通常可以分为3 种类型：无结构自由文本，半结构化文本和结构化文本。本系统是分别针对半结构化的Web地产信息网页和无结构的自由文本的信息抽取系统。对于像论坛那样以发帖子的形式进行交互的网页来说，其中的地产信息（此处指网页中包含的出租房帖子）就是以自由文本的形式来被抽取；对于一些以填写表格来完成发表地产信息的网页来说，就是一种介于非结构化文本和结构化文本之间的文本形式--半结构化文本。PAT数组是一种全文索引结构，该系统在对非结构的自然语言文本处理时，将目标语言串生成PAT数组，以进行高效的检索和抽取。 本系统初步确定使用VC++进行开发。 五．进度计划 （1）整体设计阶段（12月2日至12月5日） 实现整体功能设计，定义各个模块的接口。 （2）详细设计阶段（12月6日至12月10日） 完成各个模块的详细设计，定义好数据的逻辑结构与存储结构。 （3）编码实现阶段（12月11日至12月25日） 具体实现各个模块。 （4）测试与改进阶段（12月26日至1月10日） 测试各个模块，并对系统进行完善与改进。 基于PAT抽取 基于规则抽取 网页内容 停止 地产信息库 基于DOM树的结构化抽取 自由文本处理 DOM树结构 HTML预处理且去噪 输入网页 开始