分布式数据流查询处理若干关键技术的控制理论与控制工程专业论文.docxVIP

析和Web日志等的大量数据都来自不同的远程数据源，因此，需要构建 析和Web日志等的大量数据都来自不同的远程数据源，因此，需要构建 分布式数据流查询处理的中间件以支持上述各种应用。 P2P技术利用互联网的终端机来建立一个庞大的分布式计算网络， 并对迅速涌出的大量信息进行处理。这些计算机(即对等点)在网络中 处于同等的地位，各自拥有独立的网络自主权，以解决把所有的计算 压力全部加在服务器一端所造成的瓶颈问题。P2P以其可扩展性、通信 负载平衡，资源的高利用率以及由基于内容的路由机制所提供的动态 变化的适应性等特性成为构建中间件的良好平台，以便在减少网络带 宽和网络连接所消耗的计算资源情况下，提供快速有效的数据流查询 处理的实时响应。 本论文以分布式数据流为主要研究对象，分析了国内外的研究现 状，从目前存在的问题和不足出发，研究数据流基于时间变化的特性， 监测当前流入的数据，探索数据流变化的表示与建模方法，分析数据 进化和变化的趋势，并对未来流入的数据进行预测。在大规模分布式 环境中，研究时间和空间复杂度最小的分布式数据流查询处理和挖掘 算法。一方面，研究小波分解技术，利用小波系数的近似处理方法构 建和维护小波直方图，以获得好的精确度，并且将其扩展到多维直方 图的构建和维护，解决传统的直方图技术难以解决的问题，并利用小 波系数构造数据流集的概要，建立一个复合索引结构来响应各种查询； 还研究小波多分辨分析思想，构造一种小波神经网络模型，解决了传 统神经网络中隐层节点数难以确定的问题，初步建立分布式时间序列 数据流的预测模型。另一方面，运用草图技术解决在数据流上的聚集 查询等难点问题。研究分布式数据流中频繁项的发现算法，通过设置 精确梯度来减少通信开销，实现数据流查询的实时响应。同时，以P2P 环境的Chord网络结构和协议为平台，研究分布式数据流挖掘和及时 响应查询处理的中间件，探索在对等计算系统中提供流数据的近似查 询功能所涉及到的数据和查询路由、定位与查找、索引及数据流概要 的映射等关键技术问题。具体来说，本论文的主要创新点在于以下四 n 个方面：(1)研究了基于小波技术的分布式数据流的查询处理算法。首先 个方面： (1)研究了基于小波技术的分布式数据流的查询处理算法。首先 通过离散小波变换理论与DWT分解哈尔小波方法获得小波系数，然后 分析了数据流的计算模型，形式化了数据流的查询模型。在此基础上， 提出了一种新的方法来构造数据流集的概要，建立一种复合索引结构 来处理内积查询和相似查询。此外，还结合小波神经网络WNN良好的 时频局部化性质以及神经网络的自学习功能，初步建立适应于时间序 列数据流的预测模型。 (2)研究了基于草图技术的分布式数据流的聚集查询算法。首先 分析了基于草图的近似处理算法，然后利用随机技术，在数据流到达 时实时计算数据的伪草图概要。在此基础上，提出新颖的草图分割技 术，通过属性值域的智能分割来减小分割后的自联接规模以及为每个 分割的独立草图公平地分配存储空间两个方面来保证近似估算质量。 (3)研究了大规模分布式数据流中频繁项的发现算法。通过对单 个数据流频繁项的发现算法的分析，形式化地定义了基于时间点的分 布式数据流频繁项的发现问题。并提出了基于Lossy Counti ng算法的、 分布式的合并算法DMA(Distributed Merging Algorithm)的一种分 层结构来发现从叶子结点直至根结点的概要结构，并通过设置精确梯 度使网络数量最小及数据中心和网络链接所消耗的计算资源晟小来优 化分布式系统的通信负载。 (4)研究了基于P2P的分布式数据流查询处理的中间件和原型开 发。首先利用P2P的特性改进了索引结构的定位查询过程和稳定性。然 后，将数据流的概要映射到改进的弦环节点，将基于内容的路由扩展 到分布式流索引中，在此基础上，提供连续近似查询，并利用最小边 界矩形MBR等优化方法，通过自适应地调整MBR的每一维f的高低边界 来改进系统的精确度。在减小中心数据和网络链接所消耗的计算资源 的情况下，加快和提高流数据查询和挖掘的效率，及时响应客户的查 询请求。 本论文的研究依托于国家863项目“基于Web服务的数据库新技 llI 术’’的子项目“基于Web服务的电子商务的研究来进行。所有的科 术’’的子项目“基于Web服务的电子商务的研究来进行。所有的科 研工作是建立在对大量参考文献的阅读理解、理论分析和实验测试的 基础上，经实验和分析表明，所提出的算法和基于P2P的中间件具有 良好的性能特性，可以为分布式数据流应用提供运行与开发的环境。 关键词：分布式数据流，概要数据结构，离散小波变换， 语义查询，一致哈希，中间件 IV Research Research on Some Key Techn