公安信息网搜索引擎及信息检索系统扩容项目.docVIP

公安信息网搜索引擎及信息检索系统扩容项目 预公告技术需求 目 录 1. 项目建设背景及现状概述 2 1.1 项目建设背景 2 1.2 系统建设现状 2 2. 建设目标和任务 3 2.1 建设目标 3 2.2 建设任务 3 2.3 与一期项目关系 4 3. 项目总体设计和技术要求 4 3.1 总体设计原则 4 3.2 总体架构设计 4 3.3 硬件及系统扩容技术要求 6 3.3.1 数据库集群管理要求 6 3.3.2 数据存储空间要求 6 3.3.3 检索服务扩容要求 6 3.3.4 配置要求与指标 7 3.3.5 其他要求 7 3.4 软件功能改造要求 7 3.4.1 网页采集加工处理 7 3.4.2 网页检索服务 8 3.4.3 应用支撑服务和其他功能 10 3.5 性能指标要求 10 3.6 开放性指标技术要求 10  项目建设背景及现状概述 项目建设背景 公安机关在开展信息化建设过程中围绕各类业务工作建立了大量的信息系统和数据库，同时也建设了宣传公安工作、进行业务交流的各级各类网站，这些网站每天都发布大量的警务新闻、工作动态、通知通报、警情警讯等网页信息。为发挥公安信息网网页信息的作用、促进信息资源共享、方便网页信息的查找，公安部在“金盾工程”一期项目中建设了公安信息网搜索引擎及信息检索系统（以下简称“搜索引擎系统”），实现了公安网页信息的快速检索和综合应用，为全警提供了统一、灵活、便捷的网页信息检索工具。 作为公安应用支撑平台的重要组成部分，该系统自2006年开通运行以来，已经成为公安信息网上最繁忙的系统之一，被普遍链接到各级公安机关门户网站，被越来越多的公安业务系统所应用，成为公安机关各业务部门开展工作密不可分的信息化手段。 系统建设现状 2006年3月系统建成并投入正式运行，目前，已采集1.6万个网站，3938万个网页，日均检索访问近40余万次（2009年最高突破60万次）。系统实现了从公安信息网上各级公安机关门户网站采集网页信息，经排重、中文智能处理后，以Web方式向全警提供网页服务， 系统主要由网页采集及处理、数据存储及检索服务、应用服务等部分组成。网页采集及处理部分主要负责网页信息采集、排重及中文处理；数据存储及检索服务部分主要负责网页快照存储（Oracle结构化数据库）和网页全文存储（全文数据库）及全文检索服务，其中全文检索服务由2组共8个服务节点（每组4个服务节点）的检索服务集群和1个独立的重要新闻检索服务节点组成；应用服务部分主要通过基于Web方式的关键词检索和专题检索等具体应用功能对外提供检索服务，是系统的统一访问入口。 近年来，随着公安信息化的高速发展和深度应用，公安信息网上的网站数量、网页数量呈现着迅速上升的趋势，系统运行形成的数据及用户访问量均快速增长，系统性能上无法满足需求。 与一期项目关系 二期项目建设是在一期系统的基础上进行硬件扩容、系统软件升级和软件功能改造。二期系统将继承一期系统设计的总体架构，硬件扩容是指在原系统硬件环境基础上，新增硬件设备并对系统结构进行调整，以满足数据存储和检索效率的需要；系统软件升级是对包括全文数据库、检索集群管理、网页采集模块、网页加工处理模块等软件产品进行版本升级；软件功能改造是对检索功能进行完善，体现公安特色，提高信息检索智能化程度和应用支撑能力。 项目总体设计和技术要求 总体设计原则 兼容设计原则：二期项目建设要求能够与一期成果兼容，能基于一期系统的数据库、网页采集模块、网页资源信息库、全文检索库及对应的硬件环境进行扩展。 稳健性设计原则：要求系统具有高可靠性和稳定性，以解决一期系统各个单点问题。 高性能设计原则：系统日访问量最高峰值达60余万次，随着应用规模的持续增长，系统必须具有高性能来支撑更大规模的应用。 安全性设计原则：目前已采集近四千万网页信息资源，包括各级公安机关的门户网站和应用系统访问地址信息，以及工作动态、警务警情等公安工作信息，根据安全管理规定，要求保障信息资源访问和存储的安全性。 总体架构设计 系统二期是基于一期项目框架上的升级和完善。 系统结构为多层模式，可通过增加每一层的硬件来实现系统扩容，特别是检索服务，随集群单元（组及其节点）的增加实现扩33 搜索引擎系统总体架构图 上图中，代表设备调整或扩容。 主要内容包括： （1）Oracle数据库集群构建：将原有一台重点信息检索服务器变更为Oracle数据库服务器，与原有一台Oracle数据库搭建成集群模式的数据库服务。 （2）存储扩容：对Oracle数据库存储进行空间扩展，空间将由公安部信息中心另行统一分配和管理，本项目不涉及具体采购。 （3）全文检索服务集群扩容：增加全文数据库服务器16台、全文数据库集群管理服务器各1台，与系统原有的8台全文数据库服务器