科技信息检索及交通舆情系统解决方案精选.docVIP

目录 项目背景 4 客户需求 4 总体架构 6 实施建议 8 非结构化信息的智能管理 8 数据采集 8 信息检索 8 个性化内容关联 9 相关信息推送 10 自动问答 10 情感分析 11 维度分析 11 自动信息纠错 11 信息挖掘处理 11 分类 12 聚类 12 可视化管理 12 二次开发 14 多语言支持 14 海量数据存储 14 文档集中管理 15 文档管理 15 多层次权限控制 15 日志跟踪 15 文档元数据管理 15 完善的备份 16 提高文档安全性 16 舆情分析 16 热点事件发现 16 热点事件多层次分析 17 热点事件摘要 19 突发事件告警 19 敏感词监管 20 外部搜索引擎整合 20 热点词跟踪 21 自定义舆情分析 21 舆情BI入口 22 产品介绍 23 Spider 23 多语言支持 23 多数据源类型支持 23 关键内容自动提取 24 BBS抓取 24 自定义采集策略 25 Egg 25 面向非结构化数据的管理方式 26 动态域支持 26 内容检索支持 27 结构化查询支持 27 数据完整性支持 28 空间横向扩展支持 28 Scholar 28 自然语言分词 28 词性标注 29 语法分析 29 情感倾向性分析 30 关于我们 32 公司介绍 32 案例介绍 33 上海日报个性化报纸 33 上海热线门户搜索 34 号码百事通商情分析 35 财经媒体分析 36  项目背景 随着计算机和网络的普及，陕西省交通厅（以下简称“省交通厅”）大量的利用计算机对文档进行处理，在省交通厅的日常办公过程中，产生了大量的电子文档，而且很多时候，这些文档以多种格式存在于各类完全独立的子系统中。面对如此大量、分散的电子文档，要如何对其从中迅速、准确的检索出用户所需要的信息，成为摆在人们面前的一大难题。 同时，在互联网影响力日益增大的今天，各级党政机关、都越来越重视互联网民情、民意、舆论导向的监测、研究和引导（简称“网络舆情”）。胡锦涛同志近年来多次强调指出：“要建立社会舆情汇集和分析机制，畅通社情民意反映渠道。完善深入了解民情、充分反映民意、广泛集中民智、切实珍惜民意的决策机制……”。 新时期政府管理面临新的挑战，知识型政府的最大特点就是有科学的“智库”作为辅助管理手段。据统计目前全球85%以上的信息是来自互联网的非结构化数据，如何管理好、掌握好、处理好这些来自不同方面，特别是来自民众或群体的多样化视角的反馈和诉求，是政府在新时期维护社会稳定、建设和谐社会、促进社会发展的重要工作。 客户需求 通过前期与陕西省交通厅（以下简称“省交通厅”）的沟通和交流，省交通厅希望能够建立一套系统，对内部各类异构数据，包括常见办公文档、数据库信息以及互联网舆情提供统一管理平台。通过该平台，能够 以异构的子系统中的文档、数据库以及互联网舆情，提供便捷的信息访问方式。 及时了解互联网中关于省交通厅的舆情方向。 有效利用现有各类信息，通过智能的分析，建立知识库，提升信息价值，为决策提供支持。 本项目的建设目标是为省交通厅内部建设一套“信息以及舆情管理系统”（以下简称“本系统”），实现如下功能： 对省交通厅内部的大量文档提供统一管理。这些文档包括Office、文本、XML等常见格式，并为各种专有格式提供定制服务。 对省交通厅现有的数据库中的信息提供管理。这些数据库包括Oracle，MySQL，SQL Server，DB2等主流关系型数据库。通过本系统，将有效利用这些数据。 对省交通厅在互联网中的舆情提供管理。本系统将从互联网上自动发现关于省交通厅的信息，并提供统一的入口与流程进行管理。 为省交通厅建立专业的知识库。对内部的所有文档、数据库以及互联网上的舆情信息进行进一步的分析和挖掘，充分发掘现有信息资产的价值，为政府决策提供有力的支持。同时，通过本系统将信息转化为知识，同时实现丰富的智能应用，包括：智能检索、分类、聚类、信息关联、个性推送、语言网络等。 由此可以分析，本系统是一个包含了：内容管理、数据采集、信息搜索、内容关联、内容个性化、分类聚类，支持海量数据和多维度信息应用的智能信息与舆情的管理、监控、服务平台。  总体架构 本系统将建立在如下埃帕酷灵搜索引擎产品家族（以下简称“酷灵搜索引擎”）之上，涉及到的产品有： 酷灵信息采集产品（Cooling Spider）； 酷灵语义分析与数据挖掘产品（Cooling Scholar）； 酷灵分布式存储产品（Cooling Egg） 其核心技术是“非结构信息采集与管理”、“智能语义分析技术”以及“数据挖掘”。 整个处理流程简单描述如下： 先通过采集工具（Cooling Spider）将信息从各异构信息源采集； 采集到的信息保存在文档数据库（Cooling Egg）中； 通过进一步的语义