大数据信息资源库学习笔记.docxVIP

1 大数据信息资源库 1.1 建设任务分析 1、加强统筹规划，优化大数据形成机制。高度重视大数据发展，制定大数据发展规划。强化对大数据建设工作的组织协调和监督管理，打破地区和部门数据壁垒，实现数据资源联合共建、广泛共享。建立政府和社会联动的大数据形成机制，以政府数据公开共享，推动公共数据资源的开发利用，带动社会大数据资源的收集和开发利用。加强粤港澳、国际之间的数据交流合作。 2、搭建大数据技术平台，支撑城市级应用。综合利用云计算、大数据、数据仓库、数据交换等技术，搭建大数据技术平台，使其能够适应整个城市的数据规模、共享规模以及各行各业的应用需求。 3、全面整合政务信息及相关社会资源，实现数据集中与共享。城市大数据信息资源库需要整合广州市城市管理与运行相关的全部信息，包括各级政府部门、党政机关所产生的政务信息、社会重要单位的关键信息、以及网络舆情信息等，总之应涵盖政府开展电子政务建设的一切内容，从而实现全面的信息共享、业务协同、决策支持等功能，作为建设智慧城市的重要基础。 4、建立一套完善的数据采集体系，能够处理不同数据类型、不同数据来源、不同数据量大小的数据，从管理协调机制、接口规范制定到技术处理等方面形成一整套的大数据采集方案。 5、继承和发展电子政务信息资源整合理论中的信息共享与业务协同的基本目标，形成更加全面、合理的信息资源共享目录，以及高性能的数据交换平台，并通过主数据业务建模的方式提高业务协同类应用的效果。 6、建立一批重点示范工程，推进大数据应用，提高经济社会智慧化水平。推进政务信息公开；推行政府网上办事；收集分析挖掘社会政务服务需求，推进公共服务个性化和政府决策智能化。支持公共服务机构和商业机构开放与社会民生密切相关的公共数据。推进国民经济各行业和企业数据开发，发展商业智能。鼓励开展服务大众的大数据应用，提升智慧生活品质。 7、通过大数据的建设加强政府的政务公开力度，将政务大数据中对公众有用的信息，通过建立渠道对外公开，并提供方便的检索、查询和分析工具。一方面体现出政府的阳光与透明，另一方面充分发动社会资源，形成全社会开展大数据应用的良好生态环境。 1.2 大数据的定义 定义： 信息资产// 3+1V //新处理方式 3+1V Volume 数据海量 Velocity 增长迅速 Variety 格式多样 Value 价值（稀疏）（IDC）// Veracity 真实性（IBM） // variability 变化（MS） 与结构化数据的数据仓库等处理方式的不同： ? 数据处理的实时性：在线（实时）、离线（非实时）、准在线（近实时） ? 索引的设计 ? 先验知识的缺乏：分析的时候难有合适的模型 连续数据保护技术---CDP 1.3 四大基础数据库 ? 宏观经济数据库 ? 人口数据库 ? 法人数据库 ? 地理空间数据库  2 NOSQL HIVE 类SQL的方式代替map、reduce函数来进行批量数据处理操作 YCSB (Yahoo! Cloud Services Benchmark) NOSQL性能比较工具 负载生成器 样例负载