序列挖掘算法.pptVIP

序列模式挖掘算法 序列模式概念 概念：一般是指发现相对时间或者其它的顺序出现的高频率子序列。 序列模式定义：给定一个由不同序列组成的集合，其中，每个序列由不同的元素按顺序有序排列，每个元素由不同项目组成，同时给定一个用户指定的最小支持度阈值，序列模式挖掘就是找出所有的频繁子序列，即该子序列在序列集中的出现频率不低于用户指定的最小支持度阈值 序列模式实例 例1：在两年前购买了Ford 牌轿车的顾客，很有可能在今年采取贴旧换新的购车行动 例2：在购买了自行车和购物篮的所有客户中，有70%的客户会在两个月后购买打气筒 例3：工业过程控制领域：过程变量采样值时时间序列；变量之间的关系是动态的；系统故障模式；等等 序列模式应用领域 应用领域： 客户购买行为模式预测 Web访问模式（预测） 疾病诊断 自然灾害预测 DNA序列分析 工业控制 序列模式表示 符号化表示： 项目集 Itemset 是各种项目组成的集合 序列 Sequence 是不同项目集 ItemSet 的有序排列，序列s可以表示为s s1s2…sl ，sj 1 j l 为项目集 Itemset ，也称为序列s的元素 序列的元素 Element 可表示为 x1x2…xm ， xk 1 k m 为不同的项目，如果一个序列只有一个项目，则括号可以省略 一个序列包含的所有项目的个数称为序列的长度。长度为l的序列记为l-序列 序列模式表示 符号化表示： 设? a1a2…an ，? b1b2…bm ，如果存在整数1 j1 j2 … jn m，使得a1 ? bj1，a2 ? bj2，…， an ? bjn，则称序列?为序列?的子序列，又称序列?包含序列?，记为? ? ? 序列?在序列数据库S中的支持数为序列数据库S中包含序列?的序列个数，记为Support ? 给定支持度阈值?，如果序列?在序列数据库中的支持数不低于?，则称序列?为序列模式 长度为l的序列模式记为l-模式 序列模式表示 例子：设序列数据库如下图所示，并设用户指定的最小支持度min-support 2。 AprioirAll、Apriorisome和Dynamiesome,这三个算法都是基于序列模式挖掘的Apriori思想提出的 序列模式挖掘 问题描述：给定序列数据库和最小支持度阈值，序列模式挖掘就是要找出序列数据库中所有的序列模式 系统规定：由于同一个元素中的项目之间排列没有顺序，为了表达的唯一性，我们将同一个元素内部的不同项目按照字典顺序排列 AprioirAll算法 结果是Ck,即长度为k的候选项目集,函数的过程是由连接步和剪技步完成 连接步:为找出L k ,L k-1 将与自身连接产生候选k项集的集合,即C k 剪枝步:修剪C k ,删除C k 中所 k-l 维子集不在L k-1 ,中的项目集 AprioriAll 是最早提出的算法之一，是 Apriori 思想最原始扩展，存在着以下的不足： 1 生成数量庞大的候选序列。 2 需要多次遍历原始数据库。当序列长度增加一，就要遍历一次数据库，遍历数据库的次数为最长序列模式的长度，遍历开销大。 3 不容易发现长序列模式。随着挖掘序列长度的增加，候选序列呈指数增长 4 挖掘过程中数据转换开销大。 5 此算法需要对数据库的频繁扫描由于web日志数据量很大,使这样对算法的时间复杂度和内存空间有很大的挑战 6 由于web数据的自身的特点,如网站可以以结构图形式表示,每个网 页可以加上用户的兴趣度等,这些特点的存在,不易直接把APriori算法直接应用于web日志挖掘中 GsP Generalized sequential Patten 算法 GsP Generalized sequential Patten 算法也是基于Apriori思想的,但其从三个方 面进行了改进: 1 引入滑动窗口:为了便于对各种序列数据的挖掘,通过该概念我们对交易的定义不必过于严格,在具体的数据中不要求所有序列模式中元素的项来自于同一次交易,如果一些交易处于同一用户指定的时间窗口内,这些项可以来自于不同的交易序列 2 增加时间限制:为了增加序列模式挖掘的灵活性,在序列数据的邻近数据之间增加了最大、最小时间间隔 GSP增加扫描约束条件，有效控制候选序列，减少无用模式的产生 GSP 比 AprioriAll 快 2 倍到 20倍。时间复杂度与序列元素个数成线性关系。但由于GSP 与 AprioriAll 基于相同的原理，也存在着与AprioriAll 相同的不足。 Prefixspan算法 模式增长是一种不需要产生候选的频繁模式挖掘方法,该技术是源自于关联规则挖掘中的FP增长算法 该方法的基本思想是:先找到各个频繁项