《商业大数据分析》课件_5 文本特征提取.pptxVIP

何谓文本特征

基于文本特征的信息分析

文本特征的选取;何谓文本特征;何谓文本特征;基于文本特征的信息分析——

无特征词表的文本信息分析

;基于文本特征的信息分析——

主题词表作为特征词的文本信息分析;基于文本特征的信息分析——

标签Tag作为特征词的文本信息分析;基于文本特征计算的信息分析特点;基于文本特征计算的信息分析过程;文本特征的选取：

网络文本预处理之网页正文抽取;文本特征的选取：

网络文本预处理之网页正文抽取;文本特征的选取：

网络文本预处理之中文分词;（2）基于统计的分词方法

基于统计的分词方法的基本思想是对于待切分的字符串进行全部切分，然后找出所有可能的切分结果，对于每一种切分结果利用能够反映语言特征的统计数据模型计算出它出现的概率，从结果中选取概率最大的一种。

互信息

N元语法统计模型

隐马尔科夫模型

;（3）基于理解的中文分词算法

基于理解的分词方法又叫做人工智能法或者专家系统分词法，它将中文自动分词过程看做知识推理过程，通过计算机模拟人类对句子结构的理解，利用有关词、句子等的语法和语义信息或者从大量语料中找出汉字组合的结合特点来进行评价，以期找到最贴近于原句语义的分词结果。

ICTCLAS、CSW中文智能分词组件、KTDictSeg、CIPSDK、海量科技、庖丁解牛、ROST、SCWS、HTTPCWS

;词性也称词类（Part-of-Speech，POS）是词汇最重要的特性，分析句法时需要通过词汇的词性加以判断。

词性标注（POStagging）的主要任务是消除词性兼类歧义。

常见的词性标注方法有三类：

（1）基于规则的词性标注方法；

（2）基于统计的词性标注方法；

（3）规则与统计相结合的方法。

;常用的词性标注模型有N?元模型、隐马尔科夫模型、最大熵模型、基于决策树的模型等。

常用的一些中英文词性标注工具包括：

（1）TAGGIT；

（2）CLAWS；

（3）BrillWin；

（4）GENIAtagger；

（5）ICTCLAS

;一般在处理自然语言数据（或文本）之前或之后会自动过滤掉某些字或词，这些字或词即被称为停用词（StopWords）。

这些停用词都是人工输入、非自动化生成的，生成后的停用词???形成一个停用词表。

并没有一个明确的停用词表能够适用于所有的工具。

;主要的停用词自动抽取方法：

基于文档频数（DocumentFrequency，DF）的停用词自动抽取法

基于词频（TermFrequency，TF）的停用词自动抽取法

基于熵计算（EntropyCalculation,EC）的停用词自动抽取法

基于联合熵（UnionEntropy,UE）的停用词自动抽取法

基于词条随机抽样法的停用词自动抽取法

基于信息增益（InformationGain，IG）的停用词自动抽取法

;停用词表构造基础上就可以完成停用词过滤了。在文本预处理阶段，分词器产生的词条需要经过停用词表的过滤。如果停用词项作为文本特征的话，即使是内容上完全不同的两个文本也会因为这些共有的特征而很难被区分开来。

顺序查找过滤法（Sequence-Filter）

最近最常使用过滤法（MRU-Filter）

哈希表过滤法（Hash-Filter）

;特征词提取;基于主题词表的特征词提取;基于德尔菲法的特征词提取;基于词频统计的特征词提取;基于词频统计的特征词提取;基于文档频度DF的特征词提取

;基于TF-IDF方法的特征词提取;基于TF-IDF方法的特征词提取;基于信息增益IG的特征词提取;基于信息增益IG的特征词提取;基于互信息MI的特征词提取;基于互信息MI的特征词提取;基于λ2统计量的特征词提取;基于λ2统计量的特征词提取;其它自动提取方法及其比较;谢谢各位的聆听！