多元时间序列中-智能科学跟人工智能网站资料.ppt

多元时间序列中 关联规则的发现 史忠植 董泽坤 中国科学院计算技术研究所 * 多元时间序列的关联规则分析 关联规则：设 是项的集合。任务相关的数据D是数据库事务的集合，其中每个事务T是项的集合， 。每个事务有一个标识符，称为TID。设A是一个项集，事务T包含A当且仅当 。关联规则是形如 的蕴含式，其中, ， ， 。 关联规则的算法OptimizedApriori 优点：只读取一次数据库 OptimizedApriori是在ArioriTid的基础上，将数据结构由TID,{IID}变换为{IID},{TID}，从而迅速减少了系统的I/O操作。 在构造候选1-项集时，每一个项（IID）携带了它在数据库中出现的位置记录集合（{TID}），使得以后的操作可以脱离数据库。 构造k-项集时，新的项目集合（ {IID} ）由两个k-1项集的项目集合求并集得到，记录号集合（ {TID} ）由两个k-1项集的记录号集合求交集得到。 缺点：消耗大量的内存 大型数据库操作时会受到处理器内存容量的限制，数据可能无法一次装入。 多元股票时间序列的关联规则（1） 数据预处理 1.数值离散化 s1=3,4,3,2,4,2,0,3,4,4 s2=2,3,2,3,3,4,3,1,1,4 s3=0,3,4,1,0,1,3,3,3,4 多元股票时间序列的关联规则（1） 多元股票时间序列的关联规则（2） 规则挖掘 设：最小支持度20％，最小信任度50% 规则： s1.3 ? s2.2:股票1涨?股票2平(20%,66.7%): s1.4 ? s2.3:股票1大涨? 股票2涨(20%,50%); s2.1 ? s3.3:股票2跌? 股票3涨(20%,100%); 测试集 中国证券市场1997－2001共五年间近500只股票的收盘价时间序列集（以下同） 多元股票时间序列的关联规则（3） 测试结果 多元时间序列的跨事务关联规则分析（1） “跨事务”特性的特点： 强调的是出现在不同事务中各项目之间的关联关系，应用到时间序列中就是不同时刻各序列的数据特征之间的关系，如： A公司的股票在第一天上涨，B公司的股票在第二天下跌，那么，C公司的股票会在第三天上涨。（s%,c%） 这种规则包含了时间特性，规则的前件可以用来作为后件的预测条件，它们的实际使用价值是很明显的。 多元时间序列的跨事务关联规则分析（2） 多元时间序列的跨事务关联规则： 设∑={ e1(0),…,e1(w-1),e2(0),…, e2(w- 1) , …,eu(0),…, eu(w-1) }是事件的集合，这些事件是多元时间序列合并集D中各序列观察值的属性，w是D的滑动时间窗口。以时刻s (1≤s≤n-w+1)为D的参考时间基准点，如果时刻s+x (0≤x≤w-1)此事件出现，则标记ei(x) 属于Ts。每一个 ei(x)分配一个识别号IID。多元时间序列的跨事务关联规则是形如X?Y的蕴涵式，并且满足以下条件： X?∑,Y?∑; ?ei(0)∈X, 1≤i≤u; ?ej(q)∈X, 1≤j≤u,((i=j)∧(1≤qw-1))∨((i≠j)∧(0≤qw-1)); ?ei(p)∈Y, 1≤i≤u, max(q) p≤w-1; X∩Y=? 多元时间序列的跨事务关联规则分析（3） 和传统关联规则算法比较，跨事务关联规则算法要更复杂： ①要处理的数据超过算法能承受的范围后，频繁项集的数目将变得巨大而无法处理； 在跨事务分析中，每一个基本项将扩展为w（滑动时间窗口）个。假设有1000个基本项，在传统关联规则分析中，会产生至多（999＋1）*999 /2 =499500个候选二项集；而在跨事务分析中，会产生(1000*w-1)*(1000*w-1)/2个候选二项集，这个数字以w2的倍数增长。如果w＝3，则会有4498500（增加了9倍）个二项候选集；更严重的是，在构造候选三项集时，会有更多的增长。随着数据的增加，系统的内存将会枯竭，效率明显下降。 ②候选集数目的增加导致更频繁的数据库扫描动作。 为统计每一个候选集的频繁支持度计数值，需要通过搜索数据库中每一条记录来确定候选集的所有项是否出现。很明显，数据库的频繁访问会占用很多运行时间。 跨事务关联规则的算法ES-Apriori（1） 为提高多元时间序列的跨事务关联规则分析效率，本文提出了一个扩展的分步Apriori算法：ES-Apriori，此算