中国计算机学会科前沿讲习班信息检索 Essential.pptVIP

* * * * * Shannon was interested in the problem of Shannon wanted to determine theoretical maxima for !) * * * * * * * * * * /view/1974678.htm?fr=ala0_1 互信息 　　互信息(Mutual Information)是信息论里一种有用的信息度量，它是指两个事件集合 之间的相关性。两个事件X和Y的互信息定义为： 　　I(X,Y) = H(X) + H(Y) - H(X,Y) 　　其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为： 　　H(X,Y) = - ∑ p(x,y)logp(x,y) 　　x,y 　　互信息与多元对数似然比检验以及皮尔森χ2校验有着密切的联系。 　　什么是信息？ 　　信息现代定义。[2006年,医学信息(杂志)，邓宇等]. 　　信息是物质、能量、信息及其属性的标示。逆维纳信息定义 　　信息是确定性的增加。逆香农信息定义 　　信息是事物现象及其属性标识的集合。2002年 　　互信息衡量的是某个词和类别之间的统计独立关系,某个词t和某个类别Ci传统的互信息定义如 下: 　　互信息是计算语言学模型分析的常用方法，它度量两个对象之间的相互性。在过滤问题中用于度量特 征对于主题的区分度。互信息的定义与交叉嫡近似。互信息本来是信息论中的一个概念,用于表示信息之间的关系, 是两个随机变量统计相关性的测度，使用互信息理论进行特征抽取是基于如下假设:在某个特定类别出现频率高,但在其他类别出现频率比较低的词条与该类的互信 息比较大。通常用互信息作为特征词和类别之问的测度，如果特征词属于该类的话，它们的互信息量最大。由于该方法不需要对特征词和类别之问关系的性质作任何 假设，因此非常适合于文本分类的特征和类别的配准工作。 * * * * * * * * * 对于n阶矩阵A? 如果存在n阶矩阵B? 使得 AB?BA?E? 则称矩阵A是可逆的? 并称B为A的逆矩阵? 简称逆阵? * * * * * * * * * * Eigenvalues Eigenvectors Eigenvectors (for a square m?m matrix S) How many eigenvalues are there at most? only has a non-zero solution if this is a m-th order equation in λ which can have at most m distinct solutions (roots of the characteristic polynomial) – can be complex even though S is real. eigenvalue (right) eigenvector Example CCF-ADL at Zhengzhou University, June 25-27, 2010 * Matrix-vector multiplication has eigenvalues 3, 2, 0 with corresponding eigenvectors Any vector (say x= ) can be viewed as a combination of the eigenvectors: x = 2v1 + 4v2 + 6v3 CCF-ADL at Zhengzhou University, June 25-27, 2010 * Matrix vector multiplication Thus a matrix-vector multiplication such as Sx (S, x as in the previous slide) can be rewritten in terms of the eigenvalues/vectors: Even though x is an arbitrary vector, the action of S on x is determined by the eigenvalues/vectors. Suggestion: the effect of “small” eigenvalues is small. CCF-ADL at Zhengzhou University, June 25-27, 2010 * Eigenvalues Eigenvectors For symmetric matrices, eigenvectors for