TextMining07过滤.pdfVIP

文本挖掘技术(2012春) 第七章： 文本过滤技术 杨建武 北京大学计算机科学技术研究所 Email:yangjw@ 1 信息过滤的定义  从动态的信息流中将满 足用户兴趣的信息挑选 出来，用户的兴趣一般 在较长一段时间内比较 稳定不会改变(静态) 。 2 信息过滤系统的特点  新信息的产生速度很快，相对来说，人 的兴趣变化比较缓慢，可以看成相对静 态的和稳定的。  信息过滤主要借用信息检索和用户建模 (User modeling)两个领域的技术。  用户的需求或者兴趣通常采用User Profile （用户描述文件）来表示。  新信息到来的时候，根据User Profile ， 有选择地挑出信息给用户。 3 信息过滤与信息检索  信息过滤(IF)与信息检索(IR)  IF是可以看成广义IR 的一部分，即：与Adhoc Retrieval相对的一种任务模式：  IR面向一次性的查询而使用，而IF是面向用户的长期 需求的重复使用；  IR信息源相对静态，用户需求(采用Query来表示)动 态变化；  IF信息源动态，用户需求(采用User Profile来表示)相 对静态；  IF一般要关注用户建模，涉及用户隐私问题，而IR一 般不需要；  IR通常采用Pull模式，而IF通常采用Push模式。 4 信息过滤与信息分类  IF vs. IC (Info. Classification)  IF可以采用IC 中的分类算法。  某些场合下人们所称的“信息过滤”实际 就是一个IC 问题。例如不经过用户Profile 调整的垃圾邮件过滤。  IC 中的Category通常不会变化，相对而言， IF 的User Profile会动态调整。 5 信息过滤与信息提取  信息提取(Information Extraction, IE)是从 无格式数据源中抽取相关字段的过程。 例如：抽取恐怖事件的时间、地点、人 物等字段。  IE 中不太关注相关性，而只关注相关的 字段。IF 中要关注相关性。 6 Other info. seeking processes Process Information Need Information Source Dynamic Data Bases Stable Structured Specific Information Dynamic Stable Retrieval Specific