基于web文本挖掘的论坛监控系统的设计 - 计算机应用与软件.pdf

第２６卷第１２期　　　 计算机应用与软件 Ｖｏｌ２６Ｎｏ．１２ ０９ ２００９年１２月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｄｅｃ．２０ 基于Ｗｅｂ文本挖掘的论坛监控系统的设计 １ ２ ３ 邓娜娜 　朱艺恺 　胡文俊 １（上海市计算技术研究所　上海２０００４０） ２（上海亿通国际股份有限公司　上海２００１２０） ３（上海申腾信息技术有限公司　上海２０００４０） 摘　要　　当前ＢＢＳ论坛日益成为人们通过网络进行信息交换的中心，被越来越多的用户使用。为了营造一个健康的网络环境， 从网页抓取、信息抽取到主要的文本挖掘技术中文分词、特征表示和提取、文本分类和聚类等方面进行了详细的介绍，同时阐述了其 工作原理。此系统不仅可以防止恶意言论的传播，还大大节约了人力，极大地提高了工作效率。 关键词　　网页抓取　信息抽取　中文分词　特征抽取　文本分类　文本聚类 ＤＥＳＩＧＮＩＮＧＯＦＦＯＲＵＭＭＯＮＩＴＯＲＩＮＧＳＹＳＴＥＭＢＡＳＥＤＯＮＷＥＢＴＥＸＴＭＩＮＩＮＧ １ ２ ３ ＤｅｎｇＮａｎａ　ＺｈｕＹｉｋａｉ　ＨｕＷｅｎｊｕｎ １（ＳｈａｎｇｈａｉＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００４０，Ｃｈｉｎａ） ２（ＳｈａｎｇｈａｉＥ＆ＰＩｎｔｅｒｎａｔｉｏｎａｌ，ＩＮＣ．，Ｓｈａｎｇｈａｉ２００１２０，Ｃｈｉｎａ） ３（ＳｈａｎｇｈａｉＳｈｅｎｔｅｎｇＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙＬｉｍｉｔｅｄＣｏｍｐａｎｙ，Ｓｈａｎｇｈａｉ２０００４０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｔｐｒｅｓｅｎｔ，ＢＢＳｉｓｂｅｃｏｍｉｎｇｔｈｅｉｎｆｏｒｍａｔｉｏｎｅｘｃｈａｎｇｅｃｅｎｔｒｅｆｏｒｐｅｏｐｌｅｔｈｒｏｕｇｈｔｈｅＩｎｔｅｒｎｅｔａｎｄｈａｓｂｅｅｎｕｓｅｄｂｙｇｒｏｗｉｎｇｐｅｏ ｐｌｅ．ＩｎｏｒｄｅｒｔｏｃｒｅａｔｅａｈｅａｌｔｈｙＩｎｔｅｒｎｅｔｅｎｖｉｒｏｎｍｅｎｔ，ｔｈｉｓｓｕｒｖｅｙｅｘｐａｔｉａｔｅｓｏｎｖａｒｉｏｕｓｔｅｃｈｎｏｌｏｇｉｅｓｆｒｏｍｗｅｂｐａｇｅｃａｐｔｕｒｅ，ｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃ ｔｉｏｎｔｏｍａｉｎｔｅｘｔｍｉｎｉｎｇｔｅｃｈｎｉｑｕｅｓｉｎｃｌｕｄｉｎｇＣｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓｓｅｇｍｅｎｔｉｎｇ，ｆｅａｔｕｒｅｒｅｐｒｅｓｅｎｔａｔｉｏｎａｎｄｓｅｌｅｃｔｉｏｎ，ｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｃｌｕｓｔｅ ｒｉｎｇ，ｅｔｃ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅｉｒｗｏｒｋｉｎｇｐｒｉｎｃｉｐｌｅｓａｒｅｄｗｅｌｌｅｄａｓｗｅｌｌ．Ｔｈｅｓｙｓｔｅｍｃａｎｐｒｅｖｅｎｔｔｈｅｓｐｒｅａｄｏｆｍａｌｉｃｉｏｕｓｏｐｉｎｉｏｎｓａｎｄｃａｎａｌｓｏｓａｖｅ ｍａｎｐｏｗｅｒａｎｄｐｒｏｍｏｔｅｗｏｒｋｉｎｇｅｆｆｉｃｉｅｎｃｙｇｒｅａｔｌｙ． Ｋｅｙｗｏｒｄｓ　　Ｗｅｂｐａｇｅｃａｐｔｕｒｅ　Ｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎ　Ｃｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓｓｅｇｍｅｎｔｉｎｇ　Ｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎ　Ｔｅｘｔｃｌａｓｓｉｆｉｃａｔｉｏｎ　Ｔｅｘｔｃｌｕｓ ｔｅｒｉｎｇ 人工智能、统计学和网络神经等。 ０　引　言 １　Ｗｅｂ信息采集 随着互联网的发展，ＢＢＳ