Jobtong系统进展研究方向.ppt

Jobtong系统进展研究方向 王仲远 2007-12-09 Outline Jobtong项目介绍 Jobtong系统进展 Jobtong应用 Jobtong上的研究问题 Jobtong的下一步 什么是Deep Web？ Web按照信息“深度”划分，可以分为Surface Web和Deep Web Surface Web：被传统搜索引擎所能检索到的页面 静态HTML Web上的TXT文件 部分XML文件 PDF文件 …… 什么是Deep Web？ Web按照信息“深度”划分，可以分为Surface Web和Deep Web Surface Web：被传统搜索引擎所能检索到的页面 Deep Web（ Hidden Web ）：相对于Surface Web而言 Data that lies in backend databases that are only accessible through HTML forms 截至2004年，Deep Web的网站数量已经达到307,000个，其背后的数据库数量已经达到366,000-535,000个 Deep Web的数据是Surface Web的500倍 主流搜索引擎例如Google、Yahoo只能够覆盖到其中32%的数据 目前的搜索引擎: “爬取索引” 目前的网络: 需要进行数据集成 如何能够有效地访问这些数据库? 基于配置文件集成系统的整体框架图 基于配置文件集成系统的介绍 配置文件 Config.xml：被集成网站基本信息配置文件； 基于配置文件集成系统的介绍 配置文件 Config.xml：被集成网站基本信息配置文件； Detail.xml：查询结果详细信息配置文件； 基于配置文件集成系统的介绍 配置文件 Config.xml：被集成网站基本信息配置文件； Detail.xml：查询结果详细信息配置文件； List.xml：多个查询入口配置文件 基于配置文件集成系统的介绍 配置文件 Config.xml：被集成网站基本信息配置文件； Detail.xml：查询结果详细信息配置文件； List.xml：多个查询入口配置文件 统一集成程序 查询变量：keyword=$querykeyword$ (IT,Teacher) 查询常量：orderBy=datelocation=all 翻页过程：page=$pageno$ 查询变量、查询常量、翻页过程 统一集成程序的流程图 流程图讲解 Outline Jobtong项目介绍 Jobtong系统进展 Jobtong应用 Jobtong上的研究问题 Jobtong的下一步 Jobtong系统进展（1） Problem: 手工指定执行时间 工作量大 不灵活 Solution: 后台调度管理系统: Monitor Jobtong系统进展（1） Problem: 手工指定执行时间 工作量大 不灵活 Solution: 后台调度管理系统: Monitor 监控配置文件夹 发现新配置文件 自动调度已有配置文件 多线程爬取 Jobtong系统进展（2） Problem: 爬取结果不可见 爬取状态不可见 Solution: 后台增加了配置文件爬取状态监控程序 监控配置文件的爬取状态 监控数据增长量 监控配置文件是否失效 Jobtong系统进展（3） Problem: 爬取地点不规范 无法提供高效准确索引 Jobtong系统进展（3） Problem: 爬取地点不规范 无法提供高效准确索引 Solution: 对地址属性进行过滤 建立省市数据库 增加jt_joblocation关系表 Jobtong系统进展（4） Problem: Bugs Statement未关闭 POST方式未对网页进行过滤 Solution: Fix 内存占用更少 更加稳定 New Feature 笔经面经集成 Outline Jobtong项目介绍 Jobtong系统进展 Jobtong应用 Jobtong上的研究问题 Jobtong的下一步 Jobtong应用（1） Jobtong项目不仅仅是工作通、工作信息集成系统 Jobtong项目是一种面向领域的数据集成解决方案（Domain-oriented Deep Web Data Integration Solution）！ Jobtong应用（2） Govtong 政府新闻领域的数据集成系统 实体识别中的数据集成 获取数据集 Web组各种实验数据的来源 Jobtong应用（3） DBRef的初始集 Outline Jobtong项目介绍 Jobtong系统进展 Jobtong应用 Jobtong上的研究问题 Jobtong的下一步 Outline Jobtong项目介绍 Jobtong系统进展 Jo