北邮郭军web搜索chapter6讲义.ppt

RWM(Random Walk Model) 用一个Markov随机过程P来对项目进行排序，状态代表项目，状态转移概率根据偏好函数生成 随机游走的过程就是P的状态转移过程，当完成多步游走后，各个状态的游历概率将趋于稳定 各个状态的游历概率分布为 与GOA相同， RWM的关键也是获得 定义状态转移概率 RWM(Random Walk Model) 在转移概率矩阵中加入个性化修正项E， E = evT/n * A topic combined intelligent technology and information network. A very important issue concerned by almost everyone. * introduce IIR from 6 aspects * * 在挖掘关联规则时，有一个问题需要注意，就是AB,BC,AC均为可信关联规则,则ABC可近似认为是也是可信关联规则。论文中提出并证明一个定理：说明了三项集的可信度与2相集中最小的可信度的关系。 * 推论给出了，K+1项集的可信度与任意k项子集的最小可信度的关系。显然，k越大， K+1项集的可信度越接近任意k项子集的最小可信度。在挖掘时，只给出2项集的可信度，高项集的可信度也不会很低。 * * ?：克西 ?：西塔 * 构造FP-tree是这样的：1，统计各个项目的支持度，利用最小支持度剪枝策略去掉低支持度项目。2。对每个事务中保留项目按支持度由大到小排序。3。构造头表，支持度由大到小。依次取一个排序的事务，加入到树中。存在相应的节点，支持度计数就+1，不存在就建立子树。例如首先ceabd,建立分支，此时各节点的支持度计数为1，然后加入cabd，c已经有了，支持度计数变为2，c的孩子中没有a，建立子树。依次类推，得到整个树，所有相同项目的节点用链表连接，便于查找。 * 下面开始挖掘超团模式，挖掘顺序从下到上，先挖包含d的超团模式，可能与d构成超团模式的项目只可能到e，因此c的支持度计数为5，dc最多为3，计算dc的h-置信度最大为0.6，不满足阈值。同样道理，bae在沿路径搜索时，碰到支持度过大的项目就截止，这就是最大支持度剪枝策略。在处理d时，沿搜索路径得到各个模式基，这条路径得到bae，因为d为1，表示ceabd发生1次，所以bae设为1，表示与d同时出现在1个事务中。依次得到所有模式基，然后重新统计其中各个项目的支持度计数，称为相对支持度计数。之后，可利用最小支持度剪和项目自剪枝枝策略进行剪枝。若某个项目的支持度为1，表示与d共同出现了1次。挖掘条件要求至少出现2次，因此利用最小支持度剪枝。对于e，2表示与d共同出现了2次，e的绝对支持度技术为4，不满足h-置信度，去除，这样利用项目的相对支持度和绝对支持度进行剪枝的策略称为项目自剪枝。论文中已证明最后剩余的项目均与d构成超团模式。接下来将每个条件模式基当作一个事务，又可以递归构造模式树，称为条件超团模式树，以后重复上述过程，得到所有包含d的超团模式。然后再处理b，依次类推。 * 计算邻接矩阵 数据库中的项目列表 TID List of Item ID 001002003004005006007008 ABCDEFGI ABCGHI CEFGHIJ CDEGI ABCEGI FIJ CEGHI DI 2-项集邻接矩阵 item A B C D E F G H I J A 3 3 3 1 2 1 3 1 3 0 B 3 3 3 1 2 1 3 1 3 0 C 3 3 6 2 5 2 6 3 6 1 D 1 1 2 3 2 1 2 0 3 0 E 2 2 5 2 5 2 5 2 5 1 F 1 1 2 1 2 3 2 1 3 2 G 3 3 6 2 5 2 6 3 6 1 H 1 1 3 0 2 1 3 3 3 1 I 3 3 6 3 5 3 6 3 8 2 J 0 0 1 0 1 2 1 1 2 2 通过邻接矩阵求可信2-项集 可信2-项集邻接矩阵minconf=0.5 minsup = 0 item A B C D E F G H I J A 3 3 3 0 0 0 3 0 0 0 B 3 3 3 0 0 0 3 0 0 0 C 3 3 6 0 5 0 6 3 6 0 D 0 0 0 3 0 0 0 0 0 0 E 0 0 5 0 5 0 5 0 5 0 F 0 0 0 0 0 3 0 0 0 2 G 3 3 6 0 5 0 6 3 6 0 H 0 0 3 0 0 0 3 3 0 0 I 0 0 6 0 5 0 6