人工智能实验报告课件.docVIP

PAGE 精品文档 人工智能实验报告 姓 名： 学 号： 计算机科学与技术所学专业： 计算机科学与技术 基于朴素贝叶斯的文本分类器报告题目： 基于朴素贝叶斯的文本分类器 提交日期： 基于朴素贝叶斯的文本分类器 1 问题描述 朴素贝叶斯学习器是贝叶斯学习方法中实用性很高的一种方法，通常被称作是贝叶斯分类器。在某些领域内，其性能可与神经网络和决策树学习相当。本文主要介绍朴素贝叶斯在文本分类领域的应用。本次试验实现了一个文本分类器，并且通过实验验证分类结果比较客观。 1.1 待解决问题的解释 随着互联网信息及电子资源的急剧膨胀，文本分类技术成为信息组织与管理的有效手段。本文意在实现一个基于朴素贝叶斯的文本分类器。在应用朴素贝叶斯进行文本分类时有两个主要的设计问题：首先，要决定怎样将任意文档表示为属性值的形式，其次要决定如何估计朴素贝叶斯分类器所需的概率。 对于第一个问题，可这样设计。给定一篇文本文档，可对每个词的位置定义一个属性，该属性的值为在此位置上找到的词。如果文档被这样表示，就可以使用朴素贝叶斯的想法进行概率估计了。 对于第二个问题，显而易见可直接利用下面的公式： 其中P(vj)表示这种类别出现的概率，，docsj为vj类别出现的文档数，Examples是训练集中全部文档数。 而，其中nk为ai这个单词在vj这个类别出现的次数，n是vj这个类别包含的单词总数，Vocabulary是训练集中词典的词数。 1.2 学习方法介绍 贝叶斯分类是统计学分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Na?ve Bayes，NB)分类算法可以与决策树和神经网络分 类算法相媲美，该算法能运用到大型数据库中，且方法简单、分类准确率高、速度快。由于贝叶斯定理假设一个属性值对给定类的影响独立于其它属性的值，而此假设在实际情况中经常是不成立的，因此其分类准确率可能会下降。为此，就出现了许多降低独立性假设的贝叶斯分类算法，如TAN(tree augmented Bayes network)算法。 朴素贝叶斯算法: 设每个数据样本用一个n维特征向量来描述n个属性的值，即：X={x1，x2，…，xn}，假定有m个类，分别用C1, C2,…，Cm表示。给定一个未知的数据样本X（即没有类标号），若朴素贝叶斯分类法将未知的样本X分配给类Ci，则一定是 P(Ci|X)P(Cj|X) 1≤j≤m，j≠i 根据贝叶斯定理 由于P(X)对于所有类为常数，最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci)。如果训练数据集有许多属性和元组，计算P(X|Ci)的开销可能非常大，为此，通常假设各属性的取值互相独立，这样 先验概率P(x1|Ci)，P(x2|Ci)，…，P(xn|Ci)可以从训练数据集求得。 根据此方法，对一个未知类别的样本X，可以先分别计算出X属于每一个类别Ci的概率P(X|Ci)P(Ci)，然后选择其中概率最大的类别作为其类别。 朴素贝叶斯算法成立的前提是各属性之间互相独立。当数据集满足这种独立性假设时,分类的准确度较高，否则可能较低。另外，该算法没有分类规则输出。 2 算法的伪代码及流程 LEARN_NAIVE_BAYES_TEXT(Examples,V) Examples 为一组文本文档以及他们的目标值。V为所有可能目标值的集合。此函数作用是学习概率项,他描述了从类别Vj中的文档总随机抽取的一个单词为单词wk的概率。该函数也学习类别的先验概率P(vj)。 1 收集Examples中所有的单词 Vocabulary←在Examples中任意文本文档中出现的所有词汇的集合 2 计算所需要的概率项和P(vj) 对V中每个目标值vj docsj←Examples中目标值为vj的文档子集 Textj←将docsj中所有成员链接起来建立的单个文档 n←在Textj中不同单词位置的总数 对Vocabulary中每个单词wk nk←单词wk出现在Textj中的次数 CLASSIFY_NAIVE_BAYES_TEXT(Doc) 对文档Doc返回其估计的目标值。Ai代表在doc中的第i个位置上出现的单词。 返回vNB 3 算法实现 3.1 实验环境与问题规模 实验环境为WindowsXP操作系统，内存2G，Intel Core2(TM) Duo CPU。 问题规模比较大，尤其在训练语料是占用内存较大，速度比较慢。另外，在训练时，由于文档较多，I/O操作也耗时较多。 3.2 数据结构 HashMapString,WordItem，存储单词到WordItem的映射，Key是单词，Value是WordItem。 class WordItem{//单词的统计信息包括单词的个数和词频 double count;/