特征选取.pptVIP

Mining the Web 特征选取 特征选取 Feature selection, dimension reduction 《Mining the Web》, section 5.5 《Modeling the Internet and the Web》，section 4.6.4 “Machine Learning in Automated Text Categorization”, sections 5.3, 5.4, 5.5 “A Comparative Study on Feature Selection in Text Categorization” by Yiming Yang and Jan Pedersen 基本问题 数据的稀疏性问题（和数据库记录的反差）： 样板空间涉及的总词项数很大（N在10万量级），但每篇文档只涉及其中的一小部分（例如一篇网页通常只有几百个词） 这意味着文档的向量表示（二元或者TF）是稀疏的 理论上（统计学习理论，Souman，4.4.1） 基本假设：文档（模式）的形成都是某种随机过程的结果 于是 我们可能通过统计方法得到这种随机过程的性质：分布，参数，等 进而可以反过来利用得到的参数来设计文档分析的方法（聚类，索引，分类等） 在这种思路下，从根据词项出现的情况（bag-of-words假设）进行文本分类的要求出发，最理想的就是能得到关于{t1,t2,…,tN}的联合概率分布（joint distribution）-- 通过大量的例子，对每一个类c，得到 pc(t1,t2,…,tN) “大量” 训练集 特征项的集合 但通常的训练集只有上万的元素（人工开销太大） 考虑边际概率分布（marginal distribution）如何? pc(t1), pc(t2), …, pc(tN) 含义是词项ti在类c文档中出现的概率 需要的训练元素少很多，但可用性大大降低 （因为这样彻底忽略了词项在文档中的相关性） Over-fitting problem 如果一种特征选取的结果使得训练集元素适应得很好（导致很高的自动分类精度），但对训练集之外的文档显得差许多，则称此时的学习模型有 Over-fitting problem 我们希望模型的表现对训练集和未知文档基本一致。 需要对参与sim计算的词项进行筛选 目的 避免over fitting，提高分类准确度 通过降维（到1/10 – 1/100，甚至更多），大大节省计算时间和空间 基本信念：除那些stop words外，还有许多词实际上对分类没什么贡献 但如何确定这些词？ 理论上完美的特征选取 考察{t1,t2,…,tN}的每一个子集 一个个对分类器进行测试，保留准确度最高的子集 COMPUTATIONALLY INFEASIBLE 实际中都是用某种启发式算法来解决。 最简单的启发式 从{t1,t2,…,tN}中去掉所有Stop words 凭经验去掉那些太常见和太不常见的词项 “quick-and-dirty” approximation 也不一定效果就很不好！ 层次型类别体系有特殊的挑战：随着层次的深入，区别要比较精细才可能有好效果 几种基本的考虑角度 local vs global local: 为每一个类形成一个特征提取结果 global: 为所有类形成一个共同的结果 term selection vs term extraction term selection: 从{t1,t2,…,tN}中挑选出需要的 term extraction: 根据{t1,t2,…,tN}和训练集，以及其他知识，综合出一个优化特征集合来 filter vs wrapper filter: 独立于学习过程，“静态求解” wrapper: 在学习过程中确定，逐步减少误差，“动态形成” 几个角度（续） inclusion vs exclusion inclusion: 挑那些需要的 exclusion: 删那些不需要的 Greedy inclusion algorithm 最常用的策略（算法） 对每一个词项，一个个计算它在类别体系中的某种“区分度”； 将词项按照“区分度” 降序排列； 留下前面的若干词项，为分类器所用 不同的区分度算法可能导致不同的词项序，但不同算法所导致的前面若干项常常有很大的重叠（soumen的观点） 降维词项向量为分类器所用的含义 T = {t1,t2,…,tN} ? T’ = {t’1,t’2,…,t’k} N K 训练集的每一个文档只用T’中的元素表示 待分类的文档也只用T’中的元素表示 文档频率法（DF, document frequency） 类似于前面提到的“quick-and-dirty”方法 在去掉