数据综合利用系统介绍.pptx

数据综合利用系统 实现人与数据沟通，助力客户价值提升 产品案例 产品定位 整合 QB资源 加工 QB数据 分析 QB数据 系统资源库管理 多用户协同加工 整编专题加工 交集分析 并集分析 差集分析等手段集成 实时中标分析 上报 成品QB QB分析成品上报 数据分类共享 实现获取ZD的QB业务数据收集； 零散业务数据源整合； 建设目标 采集并整合当前各个业务系统的YP、YJ、CZ等多源异构业务数据，通过数据采集、数据加工、数据整编、成品上报等核心工作流程，实现QB数据的综合管理及分析，达到业务数据综合利用的目的。 产品架构 标准规范制定 存储平台设计 分析模型设计 业务流程设计 展示及交互设计 存储系统 关系型数据库：Oracle、SQL Server、Access 本地文件系统：ext3、ext4、NTFS、FAT32 数据类型 结构化数据：通话记录、短信记录 非结构化数据：邮件、文档、网页、音频、传真、图片、视频 数据格式 eml、txt、office文档、pdf、html、wav、pcm、dat、mp3、csv、fax、bmp、jpg、MP4、flv、zip、rar等 异构数据源兼容 数据接入 基于算子开发规范，完成多源异构数据的定制化ETL处理 预定义 算子集 注册新算子 算子 开发新算子 输入输出 文件输入 FTP输入 数据抓取 数据库输出 数据识别 加密文件识别 语种识别 邮件解析 数据转换 增加常量 增加序列 设置字段值 行扁平化 列规范化 去重复行 排序 替换字符串 编码转换 解压缩 数据清洗 字段值清洗 文件属性清洗 Slave 集群 Master ZK 管理服务 元数据服务 分布式文件系统HDFS 计算节点服务 计算节点服务 计算节点服务 … … 数据存储 多源异构数据处理难点 解决方案 格式细分 结构化 非结构化 数据类型 操作细分 事务型 操作类型 知识细分 专题数据 知识类型 积累数据 素材数据 原始数据 操作型 分析型 数据仓库 海量文件存储 分布式数据库 X人才库 原始库 反馈 清洗、整合、关联、规范化 人工审核 抽取 X视频库 涉X专题库 资源数据整合… 专题库 素材库 积累库 专题库 抄报加工 内容关联 知识提取 一键查询 属性查询 二次查询 查询结果积累 查询结果导出 查询统计 查询模型 数据查询 中标分析 技术特色： 多种消息格式适配技术； 消息订阅消费服务技术； 消息自定义分发技术； 统一资源管理机制； 服务级功能抽象技术； 基于冗余的消息可靠性保障技术。 功能特色： 支持结构化数据中标匹配； 支持文本类型（DOC PDF TXT XLS等）内容中标； 物理部署 14种数据源的采集能力，包括关系型数据库系统、文件系统及第三方存储系统； 采集系统支持200Mbps的单机字节流处理效率； 数据采集 数据中心整体集群软件达到每天1TB的数据加载能力； 100个集群节点数据中心系统； PB级的数据存储系统； 系统并发用户数支持到300个； 数据存储 支持TB级安全数据信息池的搜索时间达到秒级； 具备亿级别的结构化及分析结构化文档数据索引能力； 支持百人以上的搜索并发响应时间达到秒级； 数据查询 产品性能 数据采集子系统 数据存储子系统 数据查询子系统 数据分析子系统 QB加工子系统 QB上报子系统 业务管理子系统 安全管理子系统 运维管理子系统 审计管理子系统 复杂规则、多类型数据源的自动化数据采集与流程化预处理系统 万亿级数据记录、多格式数据统一存储管理，提供集群式容错与扩展能力 综合查询、一键查询、SQL查询、关联查询、迭代查询等全方位的数据查询系统 集合分析、中标分析、人员关系分析、电邮通信分析、运行状态分析、业务绩效分析 高度定制的数据分发、QB调阅、QB加工、QB整编 QB上报流程、多级审查机制等 用户部门管理、灵活的功能授权管理、细粒度数据授权管理、全方位的流程进度控制 用户部门管理、灵活的功能授权管理、细粒度数据授权管理、全方位的流程进度控制 拓扑监控、资源监控、服务监控、通知预警 操作有记录；状态可查看；抗抵赖；高安全； 全生命周的大数据使用系统 高度定制的6大业务系统 灵活安全的管理监控机制 功能列表 综合查询、一键查询、全文检索系统： 展示界面(数据查询) 多数据类型的在线数据调阅 展示界面(在线调阅) 基于地理信息的系统监控及分析 展示界面(GIS统计) Thanks!