有效的中文微博短文本倾向性分类算法-计算机应用与软件.PDF

第２９卷第１０期　　　 计算机应用与软件 Ｖｏｌ２９Ｎｏ．１０ ２０１２年１０月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｏｃｔ．２０１２ 有效的中文微博短文本倾向性分类算法 韩忠明　张玉沙　张　慧　万月亮　黄今慧 （北京工商大学计算机与信息工程学院　北京 １０００４８） 摘　要　　对具有长度短、结构复杂以及变形词多等特点的短文本倾向性分类进行深入研究，目的是提高倾向性分类的准确性和效 率。以ＨｏｗＮｅｔ的情感词典为基础，提出一个微博新词发现算法，构建微博情感词典。在对文本进行分句、分词、标注、情感处理等 后，构建一个自动机来计算短文本情感倾向性。为了客观评价该方法，选择基于ＨｏｗＮｅｔ的分类方法、基于ＳＶＭ的分类方法进行比 较性实验。实验结果表明提出的方法在一般文本分类上与ＳＶＭ效果类似，在短文本上则具有明显的优势。同时该方法在效率上也 具有突出优势。 关键词　　倾向性　情感　词典　自动机　知网　支持向量机 中图分类号　ＴＰ３９１．１　　　　文献标识码　Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１２．１０．０２５ ＯＮＥＦＦＥＣＴＩＶＥＳＨＯＲＴＴＥＸＴＴＥＮＤＥＮＣＹＣＬＡＳＳＩＦＩＣＡＴＩＯＮＡＬＧＯＲＩＴＨＭＦＯＲ ＣＨＩＮＥＳＥＭＩＣＲＯＢＬＯＧＧＩＮＧ ＨａｎＺｈｏｎｇｍｉｎｇ　ＺｈａｎｇＹｕｓｈａ　ＺｈａｎｇＨｕｉ　ＷａｎＹｕｅｌｉａｎｇ　ＨｕａｎｇＪｉｎｈｕｉ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＢｅｉｊｉｎｇＴｅｃｈｎｏｌｏｇｙａｎｄＢｕｓｉｎｅｓｓＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００４８，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＩｎｔｈｉｓｐａｐｅｒｗｅｃａｒｒｙｏｕｔｔｈｏｒｏｕｇｈｓｔｕｄｙｏｎｃｌａｓｓｉｆｙｉｎｇｔｈｅｔｅｎｄｅｎｃｙｏｆｓｈｏｒｔＣｈｉｎｅｓｅｔｅｘｔｓｗｉｔｈｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｓｈｏｒｔ ｌｅｎｇｔｈ，ｃｏｍｐｌｅｘｓｔｒｕｃｔｕｒｅａｎｄｍｕｌｔｉｐｌｅｔｒａｎｓｆｏｒｍｅｄｗｏｒｄｓａｉｍｉｎｇａｔｉｍｐｒｏｖｉｎｇｔｈｅａｃｃｕｒａｃｙａｎｄｅｆｆｉｃｉｅｎｃｙｏｆｔｅｎｄｅｎｃｙｃｌａｓｓｉｆｉｃａｔｉｏｎ．Ｗｅｔａｋｅ ｅｍｏｔｉｏｎａｌｌｅｘｉｃｏｎｓｏｆＨｏｗＮｅｔａｓｔｈｅｂａｓｉｓ，ｐｒｏｐｏｓｅａｎｅｗｄｉｓｃｏｖｅｒｙａｌｇｏｒｉｔｈｍｏｆｎｅｗｍｉｃｒｏｂｌｏｇｇｉｎｇｗｏｒｄｓ，ｗｈｉｃｈｉｓｕｓｅｄｔｏｃｏｎｓｔｒｕｃｔａ ｍｉｃｒｏｂｌｏｇｇｉｎｇｅｍｏｔｉｏｎａｌｌｅｘｉｃｏｎ．Ａｆｔｅｒｔｈｅｔｅｘｔｉｓｐｅｒｆｏｒｍｅｄｔｈｅｓｅｎｔｅｎｃｅｓｅｇｍｅｎｔａｔｉｏｎ，ｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ，ＰＯＳｔａｇｇｉｎｇａｎｄｓｅｎｔｉｍｅｎｔ ｐｒｏｃｅｓｓ，ｗｅｓｅｔｕｐａｎａｕｔｏｍａｔａｔｏｃａｌｃｕｌａｔｅｔｈｅｓｅｎｔｉｍｅｎｔｔｅｎｄｅｎｃｙｏｆｔｈｅｓｈｏｒｔｔｅｘｔ．Ｉｎｏｒｄｅｒｔｏｏｂｊｅｃｔｉｖｅｌｙｅｖａｌｕａｔｅｔｈｉｓｍｅｔｈｏｄ，ｗｅｃｈｏｓｅ ＨｏｗＮｅｔＢａｓｅｄｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄＳＶＭｂａｓｅｄｃｌａｓｓｉｆｉｃａｔｉｏｎｔｏｍａｋｅｃｏｍｐａｒｉｓｏｎｅｘｐｅｒｉｍｅｎｔ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄｈａｓｅｑｕｉｖａｌｅｎｔｅｆｆｅｃｔｗｉｔｈＳＶＭｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｏｎｇｅｎｅｒａｌｔｅｘｔ，ａｎｄｏｕｔｐｅｒｆｏｒｍｓｏｎｔｈｅｓｈｏｒｔｔｅｘｔｎｏｔｉｃｅａｂｌｙ．Ｔｈｅｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄａｌｓｏｈａｓｔｈｅｏｕｔｓｔａｎｄｉｎｇａｄｖａｎｔａｇｅｓｉｎｅｆｆｉｃｉｅｎｃｙ． Ｋｅｙｗｏｒｄｓ　　Ｏｒｉｅｎｔａｔｉｏｎ　Ｓｅｎｔｉｍｅｎｔ　Ｌｅｘｉｃｏｎ　Ａｕｔｏｍａｔａ　ＨｏｗＮｅｔ　ＳＶＭ （２）交互性、不规范文本多。短文本经常以相互交流的形 ０　引　言