浅析大数据条件下质量管理中病态数据的管理研究.docVIP

浅析大数据条件下质量管理中病态数据的管理研究 　　摘 要：大数据条件下，正确完成数据的判别，明确病态性数据，是大数据质量管理的基础和前提。首先，对大数据条件下质量管理中病态数据的定义与来源进行了阐述；然后，结合病态数据的产生过程，归纳总结了病态数据的主要特点；再次，结合质量管理的需求，分析了病态数据的管理需求；最后，基于统计方法，对病态数据的判别提出了对策建议。 　　关键词：质量管理 病态数据 大数据 主流数据 判别 　　中图分类号：Q213.9 文献标识码：A 文章编号：1674-098X（2016）08（b）-0091-04 　　1 引言 　　随着计算机技术、信息技术、网络技术、云技术等的发展，在质量管理领域，数据收集的类型和数量呈现出爆炸性的发展趋势，大数据的特点愈发明显。如购物网站的产品质量评价数据、体检中心的健康检测数据、4S店的车辆维护数据等。这些数据不仅数量大，而且体现出了总体性、寿命周期性、复杂性等大数据的特点[1]。但由于数据收集技术、数据提供者本身的问题等原因，使得收集到的一部分数据呈现出病态性的特点，如评价数据中非常类似的差评、好评数据的大量出现，健康监测、4S店产品维护数据中数值长期保持不变的数据、学生成绩中非常低的成绩数值大量出现等。病态数据的出现，使得对质量的评价会出现评价不准确、问题定位不精确等误导性结果。为实现对质量的精确分析，有必要对质量管理中病态数据的概念进行阐述，分析其特点、产生的源头，并研究病态数据的分析方法，从而实现对质量数据的精细化管理。 　　质量管理作为一个重要研究方向，国内外已经进行了长期的研究，出版了大量的专著，典型的如《Quality Control Handbook》、《The Management And Control of Quality》等。而作为当前研究的热门领域，国内外对大数据也进行了大量的研究，出版了大量的论著，如《Big Data： A Revolution That Will Transform How We Live， Work and Think》、《Data Science and Big Data Analytics： Discovering， Analyzing， Visualizing and Presenting Data》、《医疗大数据》等。而对于大数据条件下质量管理中病态数据的管理研究，该方面的论述还比较少，现有的研究主要集中于论述数据质量研究的必要性、研究方法等。如Rao等[2]指出在大数据分析中，基于低质量数据进行分析，隐藏的后果可能是灾难性和蔓延性的，并提出了从大数据背景分析数据质量的方法。Becker等[3]指出大数据分析中，数据质量是所有数据分析问题中极其重要的方面，并从数据的收集、描述、存储等方面分析了不同因素对大数据质量的影响。Immonen等[4]则针对大数据框架下的社会媒体数据质量评估构建了评估的架构。国内，宗威等[5]梳理了大数据的基本特征，并从流程、技术和管理视角讨论了大数据时代下企业保证数据质量的挑战、重要性及应对措施。程平等[6]对数据的质量提出了完整性、及时性、可靠性等关键数据质量特征。黄冬梅等[7]对基于块嵌套循环的大数据的数据质量检验方案进行了研究。在基于大数据的质量管理分析方面，Huang等[8]在对暂态电能的质量评价方法中，基于大数据的处理结构完成了朴素Bayes分类，在该结构中，将数据源扩展为电网监控数据、用户数据和公共数据三种类型。具体到对病态数据的分析，当前的研究比较偏向于具体技术的分析，如Liu等[9]在对生物医学图像和疾病预测的多维数据分析中，设计了可对病态数据对象探测的信息处理算法。Joon-Hong等[10]则对短期供水需求分析与预测中，病态数据细化的置信区间方法和误差百分比校正方法进行了论述。国内对于病态数据的研究主要集中在对病态数据处理的具体算法分析上，如王晶[11]对电力系统中异常数据的影响进行了阐述，并对多种电力系统异常数据检测辨识方法的优缺点进行了对比分析。费欢等[12]采用K-Means算法思想，基于欧式距离进行数据的相似性分析，并实现异常数据的检测。 　　从现有的研究情况以及大数据和质量管理的需求情况看，对大数据条件下的质量管理进行研究，已是质量管理的一个重要研究方向，但对于大数据中病态数据的研究，目前还处于初始的研究探索阶段。因此，需要加强这方面的研究，对病态数据的定义、特点、来源、管理需求、判别技术等进行分析，为大数据条件下的质量管理提供准确的数据支撑。 　　2 病态数据的定义与主要来源 　　病态数据也称为“不良数据”、“异常数据”，翻译为Abnormal Data，是相对于总体的主导性数据或者正常数据而言的。在大数据管理中，质量管理中的病态数据是指：由