关于信息监测系统采集子功能.docVIP

信息监测系统采集子功能 投标者必读： 程序注释充分，代码可读性好； 数据结构完整合理。 所有命名（数据库、字段、文件名、变量名等）规范，命名以对象的拼音简称，； 系统文档精确、完备。文档中字段名称、类型等相应信息齐备； 源程序需同所有文档和执行代码一同提供； 功能/gaoji/advanced.html? 在上述接口中输入相关参数，开始搜索；程序分析返回网页，从网页中截取信息链接和标题（可指定抓取页数）；把采集信息经预处理后存入数据库。 2）此程序为应用程序。表四、五、六、七存在于远程数据库；表一、二、三存在于本地数据库。 3）写程序定期实现表一、二、三本地库和远程库的同步。 4）数据库采用SQL Server2000（测试阶段可为Access数据库）。 其他未明功能还需详细沟通。 3. 数据表格设计（可修改） 表一、监测结果实时表 表名 字段名 字段描述 长度 备注 序号 编号，自增 监测条件序号 外键，连至另一抓去任务表格 采集日期 信息标题 搜索引擎 来源域名 来源网址 来源网站类型 可为空 影响因子 可为空 情感指数 可为空 相关度 可为空 信息初次抓取日期 信息最近抓取日期 （即当前抓取时间） 注： 1 此表格由系统从搜索引擎中抓取。 表二、监测结果表(有效) 此表存储有效数据 表名 字段名 字段描述 长度 备注 序号 编号，自增 监测条件序号 外键，连至另一抓去任务表格 采集日期 信息标题 搜索引擎 来源域名 来源网址 来源网站类型 从域名表中获取 影响因子 情感指数 此项暂由人工设置 相关度 此项暂由人工设置 信息初次抓取日期 含时间 信息最近抓取日期 含时间 注： 1 此表格数据从“检测结果实时表“中的过滤得来； 2 部分字段由手工更新； 表三、监测结果表（无效） 此表存储无效数据 表名 字段名 字段描述 长度 备注 序号 编号，自增 监测条件序号 外键，连至另一抓去任务表格 采集日期 信息标题 搜索引擎 来源域名 来源网址 来源网站类型 影响因子 情感指数 相关度 -1，无效数据相关度均为-1 信息初次抓取日期 含时间 信息最近抓取日期 含时间 注： 1 此表格数据从“检测结果实时表“中的过滤得来； 表四、域名表 表名 来源域名表 字段名 字段描述 长度 备注 序号 编号，自增 来源域名 和是不同的域名 来源网站类型 博客、新闻、bbs 来源网站影响因子 注： 1此表格数据由用户手工录入。 2 和是不同的域名。 3 \bbs,同认为是相同的域名 表五、监测条件表 表名 来源域名表 字段名 字段描述 长度 备注 序号 编号，自增 分组名 汉字 条件名 客户名 汉字 关键词组合 汉字+运算符 监测类型 行业动态/竞品动态/竞品负面/负面提醒 搜索网址 指定用来搜索的网址，如 日期 注： 1搜索网址为，则指的是在百度或者google中用关键词搜索中的内容，相当于站内搜索。 表六、抓取任务表 表名 来源域名表 字段名 字段描述 长度 备注 序号 编号，自增 监测条件序号 执行频次 月，周，日，半日，6h，2h，1h，30min，10min 最近一次执行时间 注： 表七、执行序列表 表名 来源域名表 字段名 字段描述 长度 备注 序号 编号，自增 任务序号 抓取任务表中序号 执行时间 注： 1 此表格由系统每2小时更新一次 4.附录 例1： /s?rn=100f=8wd=%CC%EC%D4%B4%BF%F3%D2%B5+%22%CD%B6%D7%CA%22+-%28%C9%CF%CA%D0%29+-%28%D5%D0%C6%B8%29+-%28%BB%C6%D2%B3%29+-%28%C6%F3%D2%B5%BF%E2%A3%A9 搜索关键词：天源矿业 投资 -(上市) -(招聘) -(黄页) -(企业库) 主关键词：天源矿业 副关键词：“投资” 非关键词：上市，招聘，黄页，企业库 功能描述：检索“天源矿业”相关的所有内容，其中包含“投资”两个字，且不包含“上市” “招聘” “黄页” “企业库”