基于 LDA 的博客分类算法.PDFVIP

基于 LDA 的博客分类算法 题目：给定一篇 acmer 的博客，输出博客类型。分三种：1.与 acm 有关（包括解题报告，参赛感 言，退役贴等）2.与 acm 无关的技术贴（如网络数据库等）3.其它（比如聊谁谁谁的音乐之类） 已知信息：5000 篇博客的内容和题目（无类标） 详细见：/archives/1194#comment-1080 思路： 由于待分类的博客都是 acmer 的博客，所以其实范围比较小，拥有 acmer 自身的特点，比如 OJ, 算法之类的词便是常客，代码也会经常出现在文章中。 笔者给出的解题方法中，包括 2 个层次：1）直接根据某些特征判断类别（只对 1、2 类有效）2 ） 在 1）无效时，采用第二种统计概率的方法（也可以装 地叫做数据挖掘的方法）。即通过 2 个 条件投票： a. 代码部分占文章总体的比例。算法认为代码所占比例越高，越可能是 1 或 2 类 b. 利用训练数据训练出的 model，来预测新的 blog 文章的类别 1）中所述，实质上就是作者根据自身经验 assert 一些 1 类或 2 类的条件，一旦文章满足某个条件， 则该博客分类结束。 2 ）中所述，a 是直接在读入文章时，统计代码字符占博客总字符的比例，笔者设定的条件是此比 例高于 50%时，算作第 1 类（此处仅是为成为第 1 类投一票，并非就此可决定它就是第 1 类，下 同）；若此比例在 20%~50%之间，算作第 2 类；否则算作第 3 类。若某一博客的 123 类票数相等， 优先判断为第 1 类。或许看上去不合理，但是由于待分类博客的特点，绝大多数的博文都是第 1 类，此举在实际中的效果并不差。 以下讲述训练 model 的过程。 1. 训练数据是无类标的博文，需要首先预处理数据，包括：1）去掉 html 标签。2 ）去掉中 文 stopwords 。 2. 对于经过步骤 1clear 后的数据，去掉代码部分（判断代码部分可用 html 标签），再进行 分词，以此作为训练 model 的 Input data. 3. 笔者利用 Mallet 中的 Topic Modeling 来标注训练数据（Mallet 中的 TM 用 LDA 实现）。笔 者给 LDA 设置了 10 个 topic ，即所有训练数据都会被分为这 10 个 topic 中的某一个 topic 中去。再人工 review 这 10 个 topic 中各自属于哪个类（1，2，3 类），可见其实工作量很 小。说到此，看上去，其实 LDA 的主要作用就是给训练数据标类标。没错，笔者只用到了 这点。 4. 当数据有了类标就好办了，此时就是一个 supervised 的分类问题的训练 model 部分。笔者 采用的是 Na?ve Bayesianclassification. 说白了就是统计出一堆概率，再用在预测时。统计的 是：P[word | classID]，即某词 word 在类别 classID 下的概率。笔者只用了相对高频的词， 所为高频的定义随手设的。还有一个概率是 p[classID]，即某个类的概率。 到此，model 就建完了。就是一堆概率算完了。 以下讲述利用 model 来预测类标的过程。 1. 对于一篇输入的 blog，首先 clear （去html, code，不需分词，分词就太复杂了） 2. 统计 code 比例，得出第一票 3. 把 model 中的高频词，遍历 blog，若出现高频词，则更新 p[word|classID]，最后取使 ∏p[word|classID] * p[classID]得到最大值 的 classID 作为此 blog 的类标。 最后，此 blog 的类标就出来了。笔者最后测试，准确率约 70% （挺低 的，但上述方法的改进空间 也很大） 读到这里，可能你还有部分疑 问： 1. LDA 是什么？ /research/papers/SteyversGriffithsLSABookFormatted.pdf