基于自适应学习的文本信息过滤系统.pdfVIP

第２７卷第１期　　　 计算机应用与软件 Ｖｏｌ２７Ｎｏ．１ ２０１０年１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊａｎ．２０１０ 基于自适应学习的文本信息过滤系统 １ ２ 沈凤仙 　朱巧明 １（苏州大学计算机科学与技术学院　江苏苏州２１５００６） ２（江苏省计算机信息处理技术重点实验室　江苏苏州２１５００６） 摘　要　　面对实时网络信息过滤的新挑战，自适应信息过滤能够解决问题。针对现有自适应系统的不足，提出了提高模板准确性 的学习和过滤阈值优化的新方法。采用增量迭代学习算法来逼近真实的过滤模板，结合非法网页的分布函数自适应调整阈值，不断 提高过滤精度，并运行于一个校园网关之上，取得了较好的效果。 关键词　　自适应内容过滤　增量反馈　阈值优化　向量空间模型 ＴＥＸＴＩＮＦＯＲＭＡＴＩＯＮＦＩＬＴＥＲＩＮＧＳＹＳＴＥＭＢＡＳＥＤＯＮＡＤＡＰＴＩＶＥＬＥＡＲＮＩＮＧ １ ２ ＳｈｅｎＦｅｎｇｘｉａｎ　ＺｈｕＱｉａｏｍｉｎｇ １（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｏｏｃｈｏｗＵｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ２１５００６，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） ２（ＫｅｙＬａｂｏｆＣｏｍｐｕｔｅｒＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＴｅｃｈｎｏｌｏｇｙｏｆＪｉａｎｇｓｕＰｒｏｖｉｎｃｅ，Ｓｕｚｈｏｕ２１５００６，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｆｏｒｔｈｅｎｅｗｃｈａｌｌｅｎｇｅｉｎｎｅｔｗｏｒｋｉｎｆｏｒｍａｔｉｏｎｆｉｌｔｅｒｉｎｇ，ｔｈｅｍｅｔｈｏｄｏｆａｄａｐｔｉｖｅｉｎｆｏｒｍａｔｉｏｎｆｉｌｔｅｒｉｎｇｃａｎｃｏｐｅｗｉｔｈｉｔ．Ｂｕｔｔｈｅｒｅａｒｅ ｓｔｉｌｌｓｏｍｅｄｅｆｉｃｉｅｎｃｉｅｓｉｎａｄａｐｔｉｖｅｓｙｓｔｅｍ．Ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｓａｎｅｗｍｅｔｈｏｄｔｏｌｅａｒｎｉｍｐｒｏｖｉｎｇｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｔｅｍｐｌａｔｅａｎｄｔｏｏｐｔｉｍｉｚｅ ｔｈｅｆｉｌｔｅｒｉｎｇｔｈｒｅｓｈｏｌｄ．Ｉｎｔｈｉｓｍｅｔｈｏｄ，ｔｗｏｍｅｃｈａｎｉｓｍｓａｒｅｕｓｅｄｒｅｓｐｅｃｔｉｖｅｌｙ．Ｏｎｅｉｓｔｈｅｉｎｃｒｅｍｅｎｔａｌｉｔｅｒａｔｉｖｅｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｆｏｒａｐｐｒｏｘｉｍａ ｔｉｎｇｔｈｅｒｅａｌｆｉｌｔｅｒｉｎｇｔｅｍｐｌａｔｅ，ａｎｄｔｈｅｏｔｈｅｒｉｓｔｈｅｔｈｒｅｓｈｏｌｄｏｐｔｉｍｉｚａｔｉｏｎａｃｃｏｒｄｉｎｇｔｏｄｉｓｔｒｉｂｕｔｉｏｎｆｕｎｃｔｉｏｎｏｆｔｈｅｉｌｌｅｇａｌＷｅｂｐａｇｅｓｆｏｒｃｏｎｔｉｎ ｕｏｕｓｉｍｐｒｏｖｉｎｇｔｈｅｆｉｌｔｅｒｉｎｇａｃｃｕｒａｃｙ．Ｔｈｉｓｓｙｓｔｅｍｈａｓｂｅｅｎｒｕｎｏｎａｃａｍｐｕｓｇａｔｅｗａｙａｎｄｈａｓａｃｈｉｅｖｅｄｇｏｏｄｒｅｓｕｌｔｓ． Ｋｅｙｗｏｒｄｓ　　Ａｄａｐｔｉｖｅｉｎｆｏｒｍａｔｉｏｎｆｉｌｔｅｒｉｎｇ　Ｉｎｃｒｅｍｅｎｔａｌｆｅｅｄｂａｃｋ　Ｔｈｒｅｓｈｏｌｄｏｐｔｉｍｉｚａｔｉｏｎ　Ｖｅｃｔｏｒｓｐａｃｅｍｏｄｅｌ 现有模型中常使用向量空间模型和概率模型，多采用标准 ０　引　言 Ｒｏｃｃｈｉｏ算法进行反馈学习。当前简单的单次反馈机制很难保 证Ｐｒｏｆｉｌｅ训练后不偏离原有主题。同时主题特征的学习和阈值 内容过滤是网络安全研究中的一个新课题，它的任务是从 的调整主要依靠对反馈信息的统计，但实际由于反馈文档数目 动态信息源中