大数据分析在城市照明管理系统中的应用.docVIP

大数据分析在城市照明管理系统中的应用 　　摘 要：城市照明监控历史运行数据往往蕴含着大量的潜在信息和知识，人们迫切需要对有价值的数据进行深度挖掘，并将获得的成果应用于运行状况评估、异常预警和运营参数调优中。基于城市照明监控历史运行数据，提出了一种基于大数据分析技术的应用方法，对海量运行数据进行聚类分析，以及对场景模式进行划分得到判别决策树，并对实时监测过程中的动态数据进行离群点分析，从而判别当前设备运行状况。结合应用实例对模型进行合理性验证，证明了该方法的可行性。 　　关键词：大数据分析；聚类分析；判别决策树；离群点分析 　　中图分类号：TP301 　　文献标识码：A 文章编号文章编号：1672-7800（2015）005-0001-04 　　作者简介：李今（1982-），男，上海人，硕士，上海五零盛同信息科技有限公司软件部工程师，研究方向为软件项目管理、软件系统设计与开发。 　　0 引言 　　随着社会的不断进步和计算机技术的快速发展，信息系统在各领域快速拓展，系统采集、累积和处理的数据越来越多，信息增速也不断加快，这也预示着大数据时代已经到来。麦肯锡认为，“大数据”指所涉及的数据集规模超过了传统数据库软件获取、存储、管理和分析的能力[1]。 　　虽然现实世界产生的数据量不断增长，但其中可理解的比例却不断下降，人们迫切需要对大数据进行分析，以了解海量数据背后的重要信息和知识，大数据分析技术应运而生。大数据分析是基于IT技术、数据挖掘、统计分析等多门学科的成果应用，通过从海量数据中分析出有效模式，获取存在的关系和规则并对发展趋势作出预测，这也是大数据生态环境中的最重要一环――使数据产生价值。 　　经过城市照明管理行业20多年的快速发展，路灯远程自动化监控技术有了很大提高。监控系统每分钟都会产生实时监控数据，运行至今的系统大都已经存储了庞大数据，它们记录了照明监控设备的运行状况。但是人们更关心它们背后隐含着的知识和信息，这些“数据”中的“数据”可用于运行状况评估、异常预警和后续运营参数调优，对照明管理部门降本增效、不断改善服务质量具有积极指导意义。由此可见，大数据分析技术应用于城市照明管理行业尤为迫切和必要。 　　1 大数据分析理论 　　大数据分析理论指从海量数据中分析和挖掘出知识的方法，本文主要采用聚类、分类等方法。 　　1.1 数据仓库建立 　　进行大数据分析前必须收集待分析的数据资源，虽然数据挖掘可直接从操作数据源中挖掘信息，但建议从专用性和可靠性角度考虑，不采用原有的数据库或数据结构，而是将待分析数据存入数据仓库中。 　　数据仓库是一个集成、相对静态、面向主题的数据集合，通过建立数据仓库，可将异种数据源中的数据通过集成，从而构成语义上一致的数据存储体系结构，它可按不同的主题划分管理决策所需信息，为查询、分析和决策打下基础[2]。 　　1.2 特征提取 　　数据仓库中的集合包含了大量特征，为了通过聚类分析发现潜在的运行模式，需要从序列数据中提取反映运行情况的重要特征向量。 　　这主要有两方面的工作：一方面为了让模型更容易理解，需要降低数据集的维度，删除不相关的特征并降低噪声，使大数据分析算法效果更好；另一方面通过创建新属性，将一些旧属性合并或创建新的属性，这样可更有效地捕获数据集中的重要信息。 　　最常使用的特征集提取技术都是高度针对某一具体领域，一旦大数据分析用于其它领域，首要任务就是找到新的特征并进行特征提取。 　　1.3 数据预处理 　　由于待分析数据可能存在数值区间范围较大、且不同时间段内变化快的问题，因此在大数据分析之前必须使用转换方法进行标准化处理。 　　数据标准化转换也是大数据分析中常见的转换措施之一，它通过将数据按照比例进行缩小，使之归入一个较小区间范围内，为数据分析建立相对平等的基础。标准分数（Z-score）是一种数据标准化的重要方法，能够真实地反应一个分数距离平均数的相对标准距离，标准分数可由式（1）求出： 　　Z=X-μσ（1） 　　其中，X为被标准化的数据，μ为数据集的平均值，σ为数据集的标准差。Z值代表着原始数据和数据集平均值之间的距离，它能表明原始数据在数据类集中的位置，方便在不同分布的数据之间进行比较[3]。 　　1.4 聚类算法 　　聚类就是将数据对象分为多个类，类内数据点具有较高的相似度而距离近，类间数据对象差别大而距离点远[4]。聚类技术可以将数据集划分成不同的子集集合，它们在空间上都是一个稠密的区域，能方便实现对数据的分析。 　　K-Means是最为经典的一种基于划分的聚类算法，它采用数据点之间的距离作为评价度量指标，也即将距离比较相近的对象组成类，以得到紧凑而独立的类作为最终目标[5]。 　　K-Means算法的基本工作过