大数据技术在智慧城市中的应用资料讲解.docVIP

大数据技术在智慧城市中的应用 精品文档 精品文档 收集于网络，如有侵权请联系管理员删除 收集于网络，如有侵权请联系管理员删除 精品文档 收集于网络，如有侵权请联系管理员删除 大数据技术在智慧城市中的应用 邹国伟 中国电信股份有限公司上海研究院 成建波 中国电信股份有限公司上海研究院物联网专业室主任 摘 要 现阶段，各地正积极推动智慧城市建设。 智慧城市的特征包括信息共享、系统协同以 及智能响应。为实现上述特征，城市各类信息需要汇聚集中，综合处理，实现有效利用。然而城市中 的数据具有多源、异构和海量的特征，传统的信息处理技术在面对这类数据时显得力不从心。大数 据及相关技术却能有效地解决这些问题。 本文介绍了大数据相关技术及其在智慧城市中的应用。 关键词 智慧城市 大数据 应用 1 引言 智慧城市充分利用物联网、云计算、宽带网络等 先进的信息通信技术， 实现对城市运行的全面感知、 数据融合、智能决策，并通过城市各个信息系统间的 互联互通、信息共享和协同运作，整合与优化各种城 市资源，提高城市运行管理和服务水平，改善市民生 活和生态环境， 提高经济发展的质量和产业竞争力， 实现城市科学、可持续发展。 我国正处在大力发展工业化和信息化的关键时 期，产业经济实力和信息化程度已经具备发展和建设 “智慧城市”的基础条件。 事实上，新型工业化、新型城 镇化进程也客观地要求进行“智慧城市”建设。 目前， 我国的北京、上海、广州、南京、杭州、宁波等诸多城市 先后提出建设“智慧城市”和智慧行业应用工程。 按维基百科定义，大数据泛指在一定时间内无法 用常规软件工具对内容进行抓取、管理和处理的数据 集合， 普遍认为大数据具有 4V 特征， 即 Volume、 Velocity、Variety、Value。Volume 指容量大，从 TB 级到 PB 级；Velocity 指数据增长速度快和处理速度要求 快；Variety 指数据类型丰富， 包括结构化数据和非结 构化数据；Value 指价值密度低，即海量数据中有价值 的数据占比小。 大数据的简单算法比小数据的复杂算 法更有效。 不是随机样本，而是全体数据；不是精确 性，而是混杂性；不是因果关系，而是相关关系。 用于整合、处理、管理和分析大数据的关键技术 主要包括 BigTable、商业智能、云计算、Cassandra、数据 仓 库 、 数 据 集 市 、 分 布 式 系 统 、Dynamo、GFS、 Hadoop、HBase、MapReduce、Mashup、元数据、非关系 型数据库、关系型数据库、R 语言、结构化数据、非结 构化数据、半结构化数据、SQL、流处理、可视化技术 等。 而用于大数据分析的关键技术主要包括 A/B 测 试、关联规则挖掘、分类、数据聚类、众包、数据融合和 集成、数据挖掘、集成学习、遗传算法、机器学习、自然 语言处理、神经网络、神经分析、优化、模式识别、预测 模型、回归、情绪分析、信号处理、空间分析、统计、监 督式学习、无监督式学习、模拟、时间序列分析、时间 序列预测模型、可视化技术等。 2 大数据与智慧城市关系剖析 2.1 数据特点 智慧城市的数据具有如下特点： (1) 数据来源多样化 为实现城市系统间的信息共享和智能响应，需要 智慧城市公共支撑平台汇集各类数据。 智慧城市的数 据来自各行业系统和城市基础库。 交通、市政、环保等 行业系统提供城市的运行状态数据。 城市基础库提供 人口、法人、地理、经济等数据。 智慧城市公共支撑平 台要实现与上述各种异构系统的对接接口（见图 1）。 (2) 数据类型多样化 智慧城市中的数据类型包括结构化数据、半结构 化数据和非结构化数据。 结构化数据能以二维表结构 表示。 XML、HTML 等标记语言具有自我描述的结构和标签属于半结构化数据。 非结构化数据是没有预先 定义数据模型或者不适合用关系型数据库保存的信 息，通常以文件的形式保存。 例如，采集温湿度、气体 浓度传感器产生的是结构化数据，可直接保存在关系 型数据库中； 监控摄像头等产生的是非结构化数据； 摄像头采集的视频经过智能算法处理、打上标签进行 结构化语义处理后属于半结构化数据。 图 1 智慧城市数据来源 (3) 数据规模海量化 城市规模的增长导致数据量的剧增。 2007 年，全 球 33 亿居民生活在城市里。 到 2050 年， 预测这一数 字将会突破地球人口的 70%，即 64 亿城市居民。 信息 化的深入导致大量从前没有数字化的信息逐渐完成 了数字化，并导致数据规模的日益增长。 同时，随着城 市功能性基础设施逐步实现“物联”化，大量的感知数 据由此产生。 一个中等规模城市需要部署 30～40 万 个摄像头，保存一个月的数据量可以达到 500TB。 传统的信息处理技术在处理