交易序列数据挖掘及研究.pdfVIP

交易序列数据挖掘研究 摘要 摘要 交易序列数据描述的是在各类交易过程中商品或证券价格随时问的变化规 律，分析这些数据能为商家或投资者制定营销策略或选择价值投资方法提供量化 依据，rfl此交易序列数据挖掘技术成为当前研究和应用的热点。 交易序列数据挖掘的目的是识别商品或证券交易价格变化规律，主要任务有 分类、聚类、关联分析和异常检测等，还可以进行各种扩展的数据分析与挖掘， 如允许有时间间隔约束的关联规则、数据有缺失值存在的模式分析等。 目前，针对交易序列数据的大量研究使用的是其他序列数据挖掘与分析方 法，比如将其离散时问的序元序看作连续的、使用时问序列结构化或非结构化模 型与各种复杂算法相结合的方法，又如忽略其数值型序元值、使用特征构建成事 件序列进行频繁模式挖掘方法；再如将其数值型的序元值进行字符表示、使用字 符序列模式查找的方法。这些研究方法存在以下两方而问题：一方而，没有同时 兼顾交易序列数据本身固有的离散时间序和数值型元素值两大特性；另一方而， 没有利用可用的经济与金融领域知识。兼顾交易序列本身原有特性并有效找到各 种符合领域意义的频繁桐似模式，能使数据分析与挖掘结果更有效。 本文从交易序列基本模式出发，定义了5种交易序列原子模式(包括：趋平 模式、头部模式、底部模式、增长模式和下降模式)及其关联关系，即交易序列 复合模式，着重研究了交易序列模式挖掘、交易序列模式查询与预测和基于交易 序列模式的聚类三方面问题，主要研究成果如下： K频繁项挖 (1)针对交易序列模式挖掘问题，在原子模式快速查找及其TOP 掘两个算法的基础上，提出了一种频繁的交易序列复合模式挖掘算法。 频繁的交易序列复合模式是由多种满足一定时间约束及其周期循环关系的 交易原子模式频繁集组成的，在此项挖掘任务中，由于候选原子模式空问是呈指 数级增长的，因而效率问题成为一个瓶颈。 首先，根据领域知识定义了5种交易序列原子模式，提出了一种伸缩距离函 数的序列模式通用相似性度量及其趋势融合和对称使用距离函数的计算方法，将 “缩放”相似的4种交易序列原子模式(除趋平模式)分别转化为相似性无向图进 行谱聚类：然后，在以结果簇近似代替最大团的基础上，引入时问约束代替趋平 模式找到由各种交易序列原子模式频繁集构成的频繁复合模式。在真实股票交易 序列集上，采用多种相似性计算方法比较得到算法准确性，并且所求得的频繁复 合模式有较好的应用解释。 (2)针对交易序列模式查询问题，提出了两种有效的相似性查询算法。 ．在现实应用中，交易序列有一种重要的相似性——“缩放”相似性，这是交 IV 交易序列数据挖掘研究 摘要 易序列模式在时间维度上的“弹性”拉长或缩短但会保留在数值维度上整体变化 趋势的一种相似性。冈而如何定义合理的相似性度量来捕捉这种相似性是一个需 要解决的重要问题。 针对序列问的细微变化，先对待查询的序列进行单调区问的“融合处理， 然后根据各区问的长度和幅度比例进行序列模式的候选产生，最后使用伸缩距离 函数作为相似性度量进行计算并返回最后结果；针对交易序列的价格区问变化， 先将所有序列进行规范化，在改进伸缩距离函数定义的基础上进行计算并得到查 询结果。实验结果表明，“趋势融合”和“价格融合”两种棚似性查询算法都能 找到在总体形状上与给定序列模式“放大”或“缩小”的所有模式结果。 (3)针对交易序列预测问题，提出了一种有较高准确率的序列模式趋势预测 算法。 预测是根据给定交易序列数据集，对给定待查序列的后续时间进行数值属性 上的估计。南于数据变化的复杂性，在交易序列中进行趋势预测比精确预测更有 意义，因而提高对给定序列趋势预测准确度成为预测问题的关键。 基于“价格融合”的相似性查询，本文使用Parzen窗密度和KNN的估计两 种方法分别证明了将查询结果候选集的TOPk个结果的后续长度为r的模式加 权平均，能近似替代全部查询结果，进而综合出预测结果。在真实股票