智能数据分析系统研究 免费.docVIP

智能数据分析系统研究 1 引言 　　 　　近年来，基于互联网的应用已涉及各行各业，电子商务、网上银行、网上图书馆等服务内容层出不穷。基于互联网的共享信息不仅为人们提供了快速、丰富、有效的各类服务，而且为群体和个体的业务分析和决策提供了可能。因此，对网络信息的采集、监控、统计与分析是一项复杂和耗时的工作。同时，随着技术和信息化程度的提高，人们除了有信息查询和传输的要求外，也提出了对网络中信息进行监控和统计与分析要求，以明确信息的合法与有效，保障信息为辅助决策服务。目前，有许多研究者进行这方面的研究，如网络数据挖掘，基于代理机制的网络信息统计，网上信息抓取等。我们则根据电子商务中的EDI单证处理流程，在Internet的EDI应用中，通过在客户端设计和嵌入一个由智能Agent构成的系统来实现单证的自动数据监控和分析。 　　本系统基于Web体系结构，采用XML描述EDI单证，建立Agent技术支持的计算、统计和分析相统一模型，并嵌入在客户端。嵌入在客户端的系统包括了数据抽取、交互协调、计算预测、人机接口和与原EDI系统的数据接口。其中交互协调Agent是系统的核心，它确定单证统计分析的方法、分配各Agent任务、协调Agent间工作进程，包括XML单证数据抽取和转换、基于知识的模型调用、模型计算与分析、结果表达与传递等。此系统完全不影响原有的网上EDI交易活动，在用户不知不觉的情况下，按事先设置的要求，自动地对网上交易单证数据监控和报警，自动地对大量单证数据进行汇总、统计分析，自动地在网上统计分析结果。 　　 　　2 系统中的Agent结构与关系表示 　　 　　系统中的智能Agent是具有领域知识和模型嵌入，能自主工作和具有语义互操作及协作交互能力，问题求解能力的智能实体，具有自治性、通信能力、推理和计算能力、协同、协调及协商能力等特性。 　　2.1 数据抽取Agent 　　数据抽取Agent（DA）主要实现对网上电子数据交换的单证进行监控性或合法性的格式检查，并从不同的单证中自动地抽取出所需的数据项，提交给交互协调Agent，以便进行分析和统计。其对单证格式检查的要求，以及数据抽取的要求统一由交互协调Agent管理。Agent实时监测网上电子交换系统单证的收发，当用户收到或发送单证时，它就会自动提取单证中的数据，根据单证的种类、知识库中处理要求，进行数据处理和存储，并发送给交互协调Agent分析统计或报警。 　　 　　2.2 计算统计Agent 　　计算统计Agent（TA）主要对抽取出的单证数据按类别、时间、对象等多角度，采用马尔可夫、多元回归、指数等多种方法进行分析统计。因此，需要建立模型库、知识库对不同的单证进行不同要求的处理。计算统计Agent的组织结构图如图1所示。 　　TA会根据由交互协调Agent设定好的要求，当收到的相应单证数达到一定数目或者是积累了到预定的时间时，自动会进行分析和统计，如销售单处理中的本月单证数目，本月销售额、最大额销售情况、下月的销售量预测、最优库存量等。 　　2.3 交互协调Agent 　　交互协调Agent（CA）是系统的关键，它既是与用户沟通的桥梁，又是与各Agent交互协调工作的核心，其主要任务是实现问题求解的任务分配、调度和协作交互。为实现CA的交互协调和交互流程的一致，存放CA与其他Agent间的任务请求和分配信息；存放问题求解过程中的协作要求和参数信息；存放其他Agent的处理描述性信息，供CA分配任务时使用。 　2.4 Agent之间的通信与协作 　　在系统中，Agent之间的通讯是基于消息的通讯机制，利用消息完成传递服务请求及协调Agent之间的同步。DA和TA根据消息通讯来获取环境信息、任务、结果反馈信息；DA的每一个监控和执行任务以及TA的每一个计算统计任务都可以表示为一个任务提交者CA向承担者DA和TA发送任务消息；监控和数据抽取任务的实施或暂停是由CA向DA发送任务消息，其监控和数据抽取的结果则通过向CA回送消息予以体现；同样，计算统计的实施过程是TA接收到消息后产生状态变化的过程，其计算分析结果通过向CA回送消息予以体现，并由此来实现多Agent间的共享和合作运行。 　　 　　 　　3 网络单证数据数据分析系统 　　 　　3.1 系统结构 　　网络单证数据数据分析系统是嵌入在原有的网上电子数据交换系统之上，主要由交互协作Agent、数据抽取Agent和计算统计Agent构成，还包括了与原系统的接口。网络单证数据数据分析系统结构图2所示。 　　从图2可知，CA控制协调DA和TD，以及控制数据接口和人机接口，而DA与数据接口仅有数据传递的连接关系，数据传递与否受CA的控制；数据接口是原网上电