程序设计说明-Read.DOCVIP

人工智能程序设计说明 用决策树（ID3算法）进行关键字提取 数据集的准备 1．十人组成一个小组，每人准备一篇文章，10篇文章组成一个数据集(具体分组情况见下面)。 单篇文章的准备： 2．词语的特征（或属性）：利用以下五个特征作为一个词语的特征（或属性） 词的频率TF：设在一篇文档中出现频率最高的词语的出现次数为M,则该篇文档中的每个词语的TF＝该词语的出现次数/M。这样每个词语的TF在0－1之间。 段落频率PDF：用来衡量每一个短语在文章中的段落的分布情况，计算如下。设在一篇文档中，某个词语出现在文章的N个不同的段落中（在同一个段落中出现多次也只算一次），则它的段落出现次数为N。设某篇文章中词语段落出现次数的最大值为N，则该篇文档中的每个词语的PDF＝该词语的段落出现次数/N。这样每个词语的PDF在0－1之间。 TI：如果词语出现在文章的Title中（即文章的篇名）中，则TI为1；否则为0。 AB: 如果词语出现在文章的Abstract中（即文章的摘要）中，则AB为1；否则为0。 HS：如果词语出现在文章的Heading或者Subheading中（即文章的标题或子标题中）中，则HS为1；否则为0。这样我们得到了一篇文章中所有词语的特征。 词语的目标属性（即我们要判定的属性）：KeyPhrase，如果词语是文章的关键词，则KeyPhrase＝1；否则KeyPhrase＝－1。我们的目标是给定一个词语x=(TF, PDF, TI,AB,HS)后（未知其目标属性），我们要判定它的KeyPhrase是等于1还是－1。 4．文档的分词处理 在此之前，我们要对文章进行分词处理，也即把文章分成一个一个的词语。主要是留下名词短语或者动词（也即对表达文章的主题有意义的词语），一个短语的文字数常在2－6之间。所有的公式、图、表都去除，只留下文字（图、表的标题文字可以留下）。一般处理完后一篇文章的短语数在30－80之间。具体实例可以见文件《中文文本分类中特征抽取方法的比较研究-实验数据.doc》和《中文文本分类中特征抽取方法的比较研究.pdf》，其中Word文档是对原文档进行处理后得到的一个一个的词语（有相应的出现频率、段落出现次数），然后有文档的特征集合，见表格。 二、设计要求： 三、程序设计 1、在得到每篇文章的特征矩阵后，把同一小组的矩阵合起来得到样本数据，例如对于论文《中文文本分类中特征抽取方法的比较研究》，我们经分词处理后得到： 词语 DF PDF TI AB HS 是否关键词 中文文本分类 18/39 8/15 1 1 0 1 特征选（抽）取 1 1 1 1 1 1 分类效果（8，4段） 8/39 4/15 0 1 0 -1 文档频率DF 32/39 10/15 0 1 1 -1 信息增益IG 24/39 10/15 0 1 1 -1 互信息MI 24/39 10/15 0 1 1 -1 χ2分布CHI 24/39 10/15 0 1 1 -1 支持向量机 26/39 4/15 0 1 0 1 KNN 15/39 5/15 0 1 0 1 分类器 14/39 8/15 0 1 1 -1 有效性 2/39 2/15 0 1 0 -1 矫正方法 3/39 3/15 0 1 0 -1 训练语料 24/39 8/15 0 1 0 -1 组合特征抽取方法 11/39 5/15 0 1 1 -1 文本自动分类 8/39 4/15 0 0 0 1 自动处理 1/39 1/15 0 0 0 -1 信息检索 1/39 1/15 0 0 0 -1 内容管理 1/39 1/15 0 0 0 -1 信息过滤 1/39 1/15 0 0 0 -1 多种统计理论 5/39 1/15 0 0 0 -1 机器学习 4/39 4/15 0 0 0 -1 特征空间维数 19/39 7/15 0 0 0 -1 向量稀疏性 2/39 2/15 0 0 0 -1 最小独立语义载体 1/39 1/15 0 0 0 -1 分类算法 1/39 1/15 0 0 0 -1 分类效率 1/39 1/15 0 0 0 -1 分类精度 3/39 3/15 0 0 0 -1 计算复杂度 1/39 1/15 0 0 0 -1 出现概率 9/39 3/15 0 0 0 -1 相关程度 2/39 2/15 0 0 0 -1 文档频数 8/39 4/15 0 0 0 -1 多类问题 1/39 1/15 0 0 0 -1 检验 1/39 1/15 0 0 0 -1 统计语言模型 1/39 1/15 0 0 0 -1 特征库 3/39 2/15 0 0 0 -1 分类模型训练 4/39 2/15 0 0 0 -1 分词 5/39