基于TREc目标优化的过滤阈值调整算法.PDFVIP

＞＞ 第 卷 第 期　２００９年１２月　　 ﹨ ﹤ 基于ＴＲＥＣ目标优化的过滤阈值调整算法 樊康新 南通大学计算机科学与技术学院　南通２２６０１９ 〔摘要〕检出阈值的优化调整是自适应信息过滤的重点和难点之一。分析现有的阈值调整方法中普遍存在的问 题，以ＴＲＥＣ效用指标为目标函数，对阈值调整方法中的极大似然估计法和局部优化法进行比较分析，提出基于 ＴＲＥＣ目标优化的全局极大似然估计法与局部效用指标优化相结合的自适应过滤阈值调整算法。实验结果表明 该方法能有效地提高信息过滤系统的性能。 〔关键词〕ＴＲＥＣ目标优化　自适应　信息过滤　阈值调整 〔分类号〕ＴＰ３９１ ＦｉｌｔｅｒｉｎｇＴｈｒｅｓｈｏｌｄＡｄｊｕｓｔｉｎｇＡｌｇｏｒｉｔｈｍＢａｓｅｄｏｎＴＲＥＣＴａｒｇｅｔＯｐｔｉｍｉｚａｔｉｏｎ ＦａｎＫａｎｇｘｉｎ ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＮａｎｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｔｏｎｇ２２６０１９ 〔Ａｂｓｔｒａｃｔ〕Ｔｈｒｅｓｈｏｌｄｏｐｔｉｍｉｚａｔｉｏｎｉｓｏｎｅｏｆｔｈｅｍｏｓｔｉｍｐｏｒｔａｎｔａｎｄｄｉｆｆｉｃｕｌｔｐｒｏｂｌｅｍｓｉｎａｄａｐｔｉｖｅｉｎｆｏｒｍａｔｉｏｎｆｉｌｔｅｒｉｎｇ．Ｔｈｉｓｐａｐｅｒ ｐｏｉｎｔｓｏｕｔｇｅｎｅｒａｌｄｒａｗｂａｃｋｓｏｆｃｕｒｒｅｎｔｔｈｒｅｓｈｏｌｄｏｐｔｉｍｉｚａｔｉｏｎｍｅｔｈｏｄｓ．ＩｔｔａｋｅｓＴＲＥＣｅｖａｌｕａｔｉｏｎｍｅａｓｕｒｅａｓｔａｒｇｅｔｆｕｎｃｔｉｏｎ，ａｎｄｃｏｍ ｐａｒｅｓｍａｘｉｍｕｍｌｉｋｅｌｉｈｏｏｄｅｓｔｉｍａｔｉｏｎｗｉｔｈｌｏｃａｌｔａｒｇｅｔｏｐｔｉｍｉｚａｔｉｏｎｉｎｔｈｅｔｈｒｅｓｈｏｌｄｔｕｎｉｎｇ．Ａｓａｒｅｓｕｌｔ，ｉｔｐｒｅｓｅｎｔｓａｎａｄａｐｔｉｖｅｉｎｆｏｒｍａ ｔｉｏｎｆｉｔｅｒｉｎｇｔｈｒｅｓｈｏｌｄａｄｊｕｓｔｉｎｇａｌｇｏｒｉｔｈｍｃｏｍｂｉｎｉｎｇｍａｘｉｍｕｍｌｉｋｅｌｉｈｏｏｄｅｓｔｉｍａｔｉｏｎａｎｄｌｏｃａｌｕｔｉｌｉｔｙｔａｒｇｅｔｏｐｔｉｍｉｚａｔｉｏｎｂａｓｅｄｏｎＴＲＥＣ ｔａｒｇｅｔｏｐｔｉｍｉｚａｔｉｏｎ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｓｒｅｓｕｌｔｓｈｏｗｓｔｈａｔｔｈｉｓａｐｐｒｏａｃｈｃａｎｉｍｐｒｏｖｅｔｈｅｑｕａｌｉｔｙｏｆｉｎｆｏｒｍａｔｉｏｎｆｉｌｔｅｒｉｎｇｅｆｆｅｃｔｉｖｅｌｙ． 〔Ｋｅｙｗｏｒｄｓ〕ＴＲＥＣｔａｒｇｅｔｏｐｔｉｍｉｚａｔｉｏｎ　ａｄａｐｔｉｖｅ　ｉｎｆｏｒｍａｔｉｏｎｆｉｌｔｅｒｉｎｇ　ｔｈｒｅｓｈｏｌｄａｄｊｕｓｔｉｎｇ 　　自适应信息过滤系统注重用户需求和信息流变化 多、经验性太强而难以把握阈值调整的力度，容易出现 时的系统适应和自学习能力，通过用户的反馈信息，来 调整过度的现象；或者由于理论性太强、计算过于复杂 减少用户的参与。在初始阶段，系统根据主题描述的 且对某些条件敏感等问题，增加了检出阈值达到最优 相关信息和少量的正例文档产生一个初始阈值。每扫 值的难度。本文提出一种将ＴＲＥＣ（ＴｅｘｔＲＥｔｒｉｅｖａｌＣｏｎ 描一篇文档，就对这篇文档进行向量化，再与用户模板 ｆｅｒｅｎｃｅ，国际文本检索会议）效用指标作为目标函数， 进行相似度计算，如果相似度大于阈值，就推送给用 根据目标函数的变化自适应地调整检出阈值的方法。 户，否则就舍弃。同时通过用户的反馈信息，系统自主 实验结果表明，该方法能有效地提高信息过滤系统的 地学习并调整过滤阈值，使检出文档更接近用户的真 性能，是一种积极稳妥、行之有效的阈值调整方法。 实需求，从而提高系统的过滤性能。 　　阈值调整是自适应信息过滤中一个重要而又困难 １　ＴＲＥＣ效用指标 的问题，设置一个能真实反映用户需求，又能适应文档 流变化而自主地调整的阈值，将会大大提高系统的过