大数据建设思路.pptx

大数据建设思路分享Powered By DataEngine01大数据建设思路分享02系统演示大数据4V特性决定了建设思路Volume（体量）传统数据处理量的10倍到百倍；数据量级基本在TB到PB级以上；数据爆发式增长：每年30%；沙里淘金Variety（多样）传统数据以数据库内操作交易数据；数据类型、来源多种多样：多维度交叉分析，是大数据技术的核心；Value（价值）为了一点金子需要保存全部沙子新型的工具，才可以做到数据价值密度低；数据背后蕴藏规律和价值；Velocity（高速）秒级是临界点，否则返回的结果可能过时；区别大数据和传统OLAP的关键差别；大数据建设客户ISV第三阶段数据价值挖掘客户ISV大数据研究咨询机构平台提供厂商第二阶段数据资源整合处理技术升级厂商第一阶段大数据方案建设的四个子项数据应用创新应用，解决数据价值问题？搭建大数据基础平台，解决数据不可持续发展问题？数据平台数据治理统一标准、提高质量，解决不可用？数据共享数据共享，解决不通的问题？水利数据、人口数据、交通数据、GIS数据等数据价值挖掘四个层次前景美好，道路曲折4数据价值呈现由于认识水平、人才缺乏等因素，大部分的大数据应用都处于第一、二阶段，这正常的过程，无需在大数据建设应用的初期寄以过高的希望。3决策支撑在大数据分析、学习、模型训练的基础上提供决策支撑第四层次决策支撑2第三层次趋势预测在数据集中的基础上对历史数据挖掘，做出趋势的预测趋势预测1第二层次关联分析数据碰撞印证，发现相关规律关联分析第一层次统计分析采用大数据平台工具快速替代传统的统计分析手段，快速业务呈现统计分析大数据建设怎么开展数据交易？等一等04拆 迁双创平台四通一平产业园区数据集中营商环境大数据营商环境建设数据治理招商引资开放商进入，住宅、综合体等等建设产业园区，孵化企业建设管委会建设政府办事大厅，工商、税务、审批一条龙服务学校、商场数据标准、数据清晰、数据质量、数据目录建设，为数据挖掘打好基础。, 筑巢引凤，招商引智ISV围绕大数据资源开发各种应用大数据创业、创新平台，用“数据”孵化高技术企业信用大数据建设大数据行政效能监督体系建设政府综合治税大数据系统建设提供大数据开发工具集构建城市数据引擎，做数据集中。与传统城市建设相比，我们“不拆，但是要迁”，要把符合共享开放要求的委办局数据都集中（迁移）到城市数据引擎，聚集新经济核心资源。传统城市建设无疑不是从征地、拆迁开始为开发商、企业进驻提供条件030201大数据项目建设思路数据应用和运营数据平台数据治理1数据共享思路一：1、先数据资源整合（共享+治理+平台）“搭台子”2、大数据的应用和创新思路二：1、以业务逻辑清晰的大数据应用作为“抓手”，做好数据资源整合（共享+治理+平台）2“数据”资产是大数据创新和运营的根本数据——创新和运营的根本平台——创新和运营孵化器应用——价值呈现徐宗本院士强调“大数据从数据分析，到预处理，到管理方式，到适当的分析和挖掘，到结果解释，到修正的过程—数据是基础，平台是支撑，技术是核心，效益是根本”三个环节，缺一不可数据源数据引擎环境质量、污染防治、生态保护101010数据采集共享数据存储加工数据湖泊环境质量检测实时分析/预警实时数据污染防治综合分析/预测数据展示工具自然与环境保护应用价值数据获取处理数据分析挖掘应用开发引擎数据框架传统产业赋能数据交易数据集中存储数据应用系统…………非实时数据环保创新孵化数据管控、数据安全监测点、政府、互联网新华三大数据公司ISV、大数据孵化产业大数据区别传统IT建设模式新方向沉迷网络辅导价值体系培养业务需求数据模型一个问题学生的学业能不能早知道？探索结果预测检验学业自动预警架构设计开发集成选择数据源加入所有与学生相关的数据源识别模式学业预警模型测试运行优化模型早餐、图书馆、上网假设上课、图书馆、上网体育、消费?维护需求驱动数据驱动数据引擎到底长什么样？数据资源运营——业务应用开发平台资源运营——大数据创新平台视觉引擎安全和一体化运维 应用开发引擎商务智能引擎数据运营引擎人工智能引擎数据服务应用构建工厂科研数据集数据挖据数据质量监控数据共享交换数据标准管理元数据管理数据科学工厂开发知识库机器学习 数据计算引擎离/在线计算分布式数据库流计算数据集成引擎（数据共享交换和治理）……药监国土财政社保公安政务工商税务内外部数据源（非结构化、半结构化、结构化数据）SUCCESSTHANK YOU可编辑数据集成引擎数据源数据集成引擎目标数据CSV数据仓库XML消息文本文件 文件系统 日志数据资源目录数据库影音图像应用应用分布式转换数据质量管理数据生命周期管理分布式抽取分布式加载轻松整合海量异构数据、节约40%的时间数据集成引擎核心能力◆数据分析◆建设大数据标准◆数据整合◆