大数据时代孤立点探析在供电行业营销审计中应用探索.doc

大数据时代孤立点探析在供电行业营销审计中应用探索 　　摘要：供电企业是面向全国，为有用电需求的个人及企业用户提供电力资源的主体，在电力销售过程中由于销售对象及业务流程节点较多，因此形成了海量的业务数据。在大数据时代下，如何有效地开展电力营销审计，已成为防范供电企业经营风险、促进电力系统长远发展的关键。在长期的工作中，相关技术人员发现了基于数据挖掘技术的孤立点分析具有?O强的数据分析能力，能在电力营销审计需要专业判断时作为高效的辅助工具，找出隐藏的问题数据，为审计人员提供更有效的审计线索，提高审计工作的效率。本文就大数据时代下孤立点分析在电力营销审计中的有效应用进行了探索 关键词：孤立点；数据挖掘；电力系统；营销审计；应用探索 随着计算机技术的高速发展，其高效的运算和海量的储存为供电企业管理提供了强大的技术支持。尤其是涉及运营环节的审计工作，因为需要对大量的财务数据和经营管理数据进行分析，通过计算机的数据挖掘技术辅助开展审计工作，可以有效减少传统审计方法对审计工作的限制，有效提高审计效率。在大数据时代的今天，基于计算机数据挖掘技术的孤立点分析方法，通过建立数据挖掘模型，具有快速发现异常审计现象的特点，因此，孤立点分析在供电行业营销审计中具有深远的应用意义 一、孤立点和孤立点分析方法 孤立点分析，是数据挖掘技术中的一项重要技术，主要用来检测审计数据中的异常数据，是针对常规审计工作中疑点数据的孤立点表现而产生的一种技术分析方法 1.孤立点 在进行审计的海量数据集中，通常会出现一些与众不同的数据，这些数据并不是由随机偏差产生的，很有可能产生于完全不同的机制，因此在聚类分析中表现为不属于任何的类或簇，这种数据对象在聚类中被称为噪声，在孤立点分析中则叫孤立点。在审计领域中，由于审查背景的不同和模型假设的差异，对于孤立点也会得出不同的结论 另外，操作错误、蓄意操作，以及测量、系统的错误和相关总体数据的自然偏差等，都会导致孤立点的产生，因此，审计人员需对这些情况产生的原因进行深入分析，从中筛选出有价值的审计信息 2.孤立点分析方法 （1）孤立点分析方法的概念：孤立点分析方法是通过在给定的数据集合中找出定义不一致的数据，并检测这些不一致的数据的方法。即，给定一个有n个数据点的集和，并对其中可能出现的孤立点数目进行预期，这个数值为k，发现与剩余的数据相比是显著异常的、孤立的、或不一致的前k个对象的过程 （2）孤立点分析方法介绍。基于距离的方法：即对数据域中的数据对象进行相异度的分析，通过对审计数据进行清洗，并检验有效性后，结合所审计的行业的特点，以公式计算出符合大多数对象之间距离的阈值，并将这个数据确定为一个孤立点。这个方法可以克服基于统计方法中数据分布特征确定的问题 基于偏离的方法：这一方法是通过对数据对象的主要特征进行检查从而确定孤立点。在基于偏离的方法中，主要采用的是序列异常技术和OLAP数据立方体技术。前者是通过对定义样本集的一般特征进行预先定义，从而将“偏离”这些特征的样本区分出来，是一种利用审计数据集的总方差找到相异度函数的有效方法。后者则是以审计中对异常的单元进行标注下钻，从而发现更深层次的异常 基于密度的方法：这个方法的是利用数据对象的局部密度来对孤立点进行检测。当某一数据对象周围区域的局部密度与其他邻近数据的局部密度的局部孤立点因子（Locai OutlierFactor，LOF）值越大时，则越有可能是孤立点，从而提示相关审计人员注意，其特点是对于局部孤立点的发现效果较好 基于距离和密度的聚类和孤立点检测方法：这一方法是将距离和密度方法进行融合，利用两种方法的优点来进行准确的聚类和孤立点确定，对于高维数据中的孤立点的识别更有效 基于人工神经网络模型的方法：这一方法使用的数据集可以是较小的通用统计数据集，也可以是现实的较大的专用数据集，因此对于大小数据的孤立点检测都能获得较好的预期效果。但这一方法对于含有放射状的孤立点数据集检测效果不好 在审计过程中，孤立点分析技术主要用于审计数据预处理过程和异常检测两个方面。审计人员需完成对原始数据的采集、清洗、验证，使数据满足建模的需求，再根据数据的类型和特征从以上几种常用的孤立点分析方法中找出适应的孤立点算法，既可以选取其中一种，也可以将几种方法进行有效组合，以满足审计工作寻找异常数据的要求 二、孤立点分析方法在供电行业营销审计应用中的流程 孤立点分析方法在电力营销行业审计工作中的应用，应结合供电行业的特点，根据审计的需求，选择合适的方法，一般情况下，具体工作可以遵循以下流程： 1.提出需求 在进行审计时，审计人员需根据自身的经验和洞察力对经营业务中的异常情况进行分析，找出业务及数据中的孤立点，并与数据