大数据并发处理.pdf

大数据并发处理系统 杭州吉黄网络科技有限公司 大数据背景分析 大数据并发处理系统功能 系统技术应用 大数据挑战 •大数据对网络、存储提出了更高要求 •多源异构大规模数据采集、整合面临挑战 技术架构 挑战 大数据 Big Data 管理挑战 应用挑战 •如何保护数据安全？ •如何保障数据质量？ •如何从海量数据中发掘数据价值？ •大数据如何有效组织和管理？ •现有数据应用模式已难以适应大数 据持续优化的需要 公安大数据 公安大数据来源 社会数据 内部数据 娱乐、旅馆、交通出行等数据。 共享数据 公安内部各个应用系 统和资源库的数据 各政府事业单位可共享的数据 公安部数据 公安部的八大资源库数据 大数据特性 具有4V特性的数据 1 Volume 巨大的数据量 数据TB跃升至PB级，海量数据 2 Variety 多结构化数据 文本/图片/视频/文档/地理位置信息等;类型纷繁，无规律可循 3 Value 价值密度低 庞大的数据量中蕴含价值的数据，也许只有一两秒 4 Velocity 处理速度很快 海量数据的及时有效分析/用户基数庞大/设备数量众多/ 实时分析/数据挃数级别增长 大数据背景分析 大数据并发处理系统功能 系统技术应用 建设目标 极少的，高价值的，时效性极强的，综合的， 高关联性的，较难获得的 情 报 数 据 信 息 海量的，分散的，分离的，质量低 的，低价值的信息 业务层面 涉及多种存储数据格式 实现各级单位之间信息共享 面对跨部门、跨单位、跨警种的海量信息 构建在已有信息数据基础上的分析系统