CDMiner自动化工程大数据挖掘系统..docVIP

自动化工程大数据挖掘系统 简介 在现今的自动化系统中积累了大量原始数据，这些数据一般通过数据库系统来存储和管理。目前的数据库系统只能对数据库中已有的数据记录进行存取和检索, 用传统的统计分析手段得到的只是一些表层信息，难以获得隐藏在数据之中深层次的关于数据整体特征描述和数据发展趋势的预测信息。若需要发现更深层次的规律，并保证系统运行的经济性、安全性和可靠性，还必须提供更快，更有效的自动化系统数据挖掘技术。 自动化系统数据挖掘系统，对硬件系统、通讯状况、上位机系统进行在线监控，从数据库中挖掘出系统运行故障及其类型与气候状况、供电平稳状况、供货厂商、前期维护状况等蕴含的规律，使用该系统所发现的知识可以方便地用于调度中心的生产指挥决策支持、过程控制及运维指导等工作领域, 从而为其科学决策提供有价值的信息。 自动化工程大数据挖掘技术概论 随着国内油田采油过程基本实现了自动化、信息化，采油过程中会产生大量的数据，包括采油过程中的生产、作业等多个类型的大数据。尤其，随着中石油A5系统的推广和油气生产物联网系统A11的实施，为在油田企业在采油生产中应用大数据挖掘技术提供了广阔的空间。 以数据库、人工智能以及统计等学科为理论基础，依托现有生产指挥平台，通过监测数据关键指标：仪表自动化设备月投用率、仪表自动化设备受检率、仪表自动化设备的完好率、标准器具的合格率、实时采集存储频率、数据存储量、CPU利用率、内存利用率、吞吐量、上线率、丢包率、误码率、广播包率、硬盘使用率、程序进程等；全面掌握数据采集设备（自动化仪表）、数据处理设备（可编程控制器、远程终端控制器）、数据传输设备（有线传输设备、无线传输设备）、监控设备（监控摄像机、智能视频服务器）、执行设备（调节阀、变频器）等设备生命周期内的设备厂家、型号、投用时间、维修保养、报废等基础信息，并结合气候状况、供电平稳状况、供货厂商、前期维护状况、常用工具、备品备件与消耗材料的规格、数量及技术状态等多种因素，通过数据挖掘可以解决以下问题：1）发现自动化系统各个指标的异常情况，实现快速故障定位、业务处理和恢复；2）各个生产要素之间的关联关系，通过流程自动化处理事件；3）预测系统指标变化趋势，实现由报警向预警智能化发展；4）预测自动化系统的安全性和工况效率指标；5）自动化设备寿命预测和维修预警；6）科学地指导运维和成本控制提出预警和优化，运维人员可及时了解当前自动化设备的运行状态、通讯状态、系统运转状况，降低故障停机时间等。 自动化工程大数据挖掘系统主要采用以下挖掘技术和业务应用。 数据预处理 2.1 应用场景 数据预处理是清晰地定义出业务问题，认清数据挖掘的目的，数据理解开始于数据的收集工作，在此基础上进行数据质量问题的鉴定，并从中发现包含隐含信息的感兴趣的数据子集。数据准备阶段覆盖了所有从初始数据构成最终用于挖掘的数据子集所进行的活动。数据准备的工作可能需要进行多次，而且没有任何预定的顺序。数据准备工作包含选择数据表、记录、属性以及转换和清理数据等。 2.2 应用示例 自动化工程大数据挖掘系统的数据可靠性并非万无一失，如数据采集设备、传输网络、上位机系统出现故障等情况下，数据必然出现缺失或异常，这些情况都需要进行预处理来满足数据挖掘的要求，自动化工程大数据挖掘系统可以根据物理规律及历史情况对其进行有针对性的校验、拆分、删除及容错处理等。 2.3 技术 数据预处理能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。在这个阶段可能需要选择和应用不同的建摸技术，并将其参数校准到最佳值．一般一个类型的数据挖掘问题都需要用到几种技术。 一些技术对数据的结构具有特定的要求，因此经常需要返回到数据准备阶段对数据进行相应的处理。该阶段主要建立的模型包括关联规则、分类与预测、聚类、异常检测等。 数据可视化 3.1 应用场景 数据可视化技术是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，使人们不再局限于通过关系数据表来观察和分析数据信息，还能以更直观的方式看到数据及其结构关系。其基本思想是将数据、信息和知识转化为可视的表示形式的过程可视化数据分析技术拓宽了传统的图表功能， 使用户对数据的剖析更清晰。它为人类与计算机之间提供了一个接口。自动化工程大数据挖掘系统中的各种图表组件都是利用数据可视化方法将系统运行状态、设备网络拓扑状况、通讯状况、故障类型与气候状况、供电平稳状况、供货厂商等属性进行展示。 3.2 应用示例 可视化展示是将抽象的数据空间转换为直观的视觉空间，以便于人们通过强大的视觉处理能力发现隐藏在抽象数据空间中的模式、见解和知识，可以通过图表以直观的方式展示生产工艺流程图、总貌、报警、组态、趋势、单点、报表等多种画