信息检索发展过去现在和未来.PDF

信息检索与内容安全专业委员会集体讨论稿 信息检索技术的发展—— 过去、现在和未来 信息检索 • 信息检索： – 从数据中找到与用户需求相匹配的内容 • 信息检索的发展 – 紧随着用户需求的发展与变化 – 随着信息技术的爆炸式发展而产生质的飞跃 – 在不同的发展阶段遵循不同的商业模式 Figure Copyright by TREC 发展阶段1—— 数字图书馆时代 • 需求 对文档全文内容的快速检索 1945: Vannevar Bush’s article “As we may think” 目标：未来人们能够实现对海量图书 资源(1M)进行快速的访问 “A library of a million volumes could be compressed into one end of a desk… …It may be consulted with exceeding speed and flexibility.” 发展阶段1 —— 数字图书馆时代 • 技术：草创时期 – 数据库查询 自由文本的全文检索 – 倒排索引技术 – 词频与权重（term significance ） Frequency/Informativity • Luhn 1957 frequency informativity • 后来发展出TFIDF权重计算方法 LUHN, H.P., A statistical approach to mechanised encoding and searching of library information, IBM Journal of Research and Development, 1, 309-317 (1957). 1 2 3 … Rank Used by Luhn for term significance 发展阶段1 —— 数字图书馆时代 • 技术：检索模型 – 集合论模型 • Boolean models (e.g. Lancaster et al., 1973) – 代数模型 • Vector Space models (e.g. Salton et al., 1983) – 概率模型 • RSJ model (Robertson Sparck Jones,1976) • BM25 （Robertson et al., 1994) 发展阶段1 —— 数字图书馆时代 • 评价 – Cranfield评价体系 （Cleverdon,1950’s ） – 关注“relevance”