贾俊华语义特征分析思路.docxVIP

L文本语义分类 实际上，文本语义分类是一个有监督的机器学习问题：首先要对己知语义类别的文本数据库 提取文本语义特征，然后构造分类器，利用己有的标注训练分类器；最后利用这个语义分类 器对样本进行分类。整个步骤如下图： 2文本语义特征分析 对于文本特征的分析是一个考察特征鉴别力的过程，特征分析的结果为特征 选择提供了依据。特征选择是必须的，不仅是因为运算复杂度（从很多的特征集 合里选取有限的特征），而且是考虑到在训练一个语义分类器前，要去除信息无 关特征，从而在一个标注的文本数据集合上可以避免过训练的问题。而特征选择 又可以看作是一个优化问题，其关键是建立一种评价标准来区分哪些特征或特征 的组合有助于分类，即哪些特征或特征组合存在冗余性或互补性，选择互补的特 征而去除冗余的特征。根据评价函数与分类器的关系，特征选择方法分成封装器 （wrapper）和筛选器（filter）两种，其中封装器采用分类器的错误概率作为评价函数，而筛选器的评价函数与分类器无关。 特征提取的最终目的是为了对文本进行分类，因此分类的正确性成为考察特 征鉴别力最直观的主要指标。能够使分类器分类的错误最小的特征，显然是鉴别 力最佳的特征。因此，可以直接从分类的结果来分析文本的特征。但基于分类器 的分类效果而进行的特征分析计算量太大，实用性较差，计算分类器的错误概率 过于复杂。并且基于分类器的文本特征的分析要依赖分类器的种类，不同的分类 器对于相同的文本特征鉴别力的分析可能会有着不同的结果。进行特征选择的目 的并非简单地是为了计算不同特征或特征组合的分类错误和选择错误率最小的 特征或特征组合，因为这会使特征分析过程依赖于分类器。 筛选器的评价函数又可分为距离测度和信息测度等。 3,分等级的文本数据库语义分类 每一级的文本数据库分为两类，根据通过训练得到的语义特征进行。如下图 A类/ B类 A类/ B类 人 这里仅考虑了二类分类，选择SVM作为分类器。之所以没有考虑三类及三类以 上的分类，是因为二类分类是所有分类的基础，实现三类及三类以上的方法最简 单的可以采用one vs other的方式，分层次地用二类分类实现多类的分类，即把 一类文本数据看作是A类，把不属于这一类的文本都认为是B类，再在B类里 用前述方法进行二类分类，直至完成所有分类。 对分等级的文本数据库进行简单的语义分类，所用方法如下图: 输入文本 提取文本的特征客体主体受事客事判断属于 成果/与事找出主体中的 施事和当事判别属于主体/客体判别属于受事/挥与事▼找出文本中 提取文本的特征 客体 主体 受事 客事 判断属于 成果/与事 找出主体中的 施事和当事 判别属于主体 /客体 判别属于 受事/挥 与事 ▼ 找出文本中 客事 找出文本中 与事▼ 找出文本中 与事 找出文本中 成果 4,文本基本处理 是构成了语义分析的基础，有很多方面，这里说三个主要的：中文分词、语言 模型和Term Weightingo 4. 1中文分词 拿到一段文本后，通常情况下，首先要做分词。分词的方法一般有如下几种: 基于字符串匹配的分词方法。此方法按照不同的扫描方式，逐个查找词库进行分 词。根据扫描方式可细分为：正向最大匹配，反向最大匹配，双向最大匹配，最 小切分（即最短路径）;总之就是各种不同的启发规则。 全切分方法。它首先切分出与词库匹配的所有可能的词，再运用统计语言模型决 定最优的切分结果。它的优点在于可以解决分词中的歧义问题。下图是一个示例, 对于文本串〃南京市长江大桥〃，首先进行词条检索（一般用Trie存储），找到匹配 的所有词条（南京，市，长江，大桥，南京市，长江大桥，市长，江大桥，江大， 桥），以词网格（word lattices）形式表示，接着做路径搜索，基于统计语言模 型（例如n-gram）找到最优路径，最后可能还需要命名实体识别。下图中〃南京市 长江大桥〃的语言模型得分，即P（南京市，长江，大桥）最高，则为最优切分。 返市长江大桥/s 室而衰江天莅 京而W江大桥/s 示币长江大桥/s—、 I y -■ I I 返市长江大桥/s 室而衰江天莅 京而W江大桥/s 示币长江大桥/s —、 I y -■ I I『 :-12. 734082 :-15. 659960 图4.1.1 南京市长江大桥”语言模型得分 由字构词的分词方法。可以理解为字的分类问题，也就是自然语言处理中的 sequence labeling问题，通常做法里利用HMM, MAXENT, MEMM, CRF等预测文本 串每个字的tag,譬如B,E, LS,这四个tag分别表示:beginning, inside, ending, single,也就是一个词的开始，中间，结束，以及单个字的词。例如〃南京市长 江大桥〃的标注结果可能为：〃南(B