InfoMall数据检索服务的设计以及全文检索系统的初步实. .pptx

InfoMall数据检索服务的设计以及全文检索系统的初步实现杨志丰InfoMall万维网信息博物馆中国万维网历史信息的存储和展示系统 维护2001年以来从中国万维网上搜集的近12亿篇网页（约20TeraByte） 以每月1000万的速度增长 现有服务及问题目前提供三种服务根据URL检索历史网页 提供人工整理的历史事件专题回放 免费提供网页和日志数据局限访问途径单一（只能通过URL）整理历史事件专题需要大量的人工工作 只能获得某个时间段搜集的全部网页，且免费数据的获取需要很多人工维护工作InfoMall数据检索服务目的整合现有服务通过统一的数据访问接口，提供更加丰富，更加自动和便利的数据服务InfoMall数据检索服务提供以InfoMall历史网页文档为核心数据，以内容、空间、时间为查询纬度的，面向高层应用的客户服务器体系结构的数据检索服务。 “三维”的数据模型检索服务原语Augmented BNF 语法定义（部分摘录如下）query = “select” data-type “from” data-repository “where” 1*conditions [“max” maximum-item-number]conditions = content-condition / time-condition / location-condition例子select Webs from where content contains 民主 time between 1997-02 to 2005-02 location at GEO: 150000 location at URL: *.gov.cn” 系统组成9、要学生做的事，教职员躬亲共做；要学生学的知识，教职员躬亲共学；要学生守的规则，教职员躬亲共守。10、阅读一切好书如同和过去最杰出的人谈话。11、一个好的教师，是一个懂得心理学和教育学的人。12、要记住，你不仅是教课的教师，也是学生的教育者，生活的导师和道德的引路人。13、He who seize the right moment, is the right man.谁把握机遇，谁就心想事成。14、谁要是自己还没有发展培养和教育好，他就不能发展培养和教育别人。15、一年之计，莫如树谷；十年之计，莫如树木；终身之计，莫如树人。16、提出一个问题往往比解决一个更重要。因为解决问题也许仅是一个数学上或实验上的技能而已，而提出新的问题，却需要有创造性的想像力，而且标志着科学的真正进步。17、儿童是中心，教育的措施便围绕他们而组织起来。2、Our destiny offers not only the cup of despair, but the chalice of opportunity. (Richard Nixon, American President )命运给予我们的不是失望之酒，而是机会之杯。二〇二一年六月十七日2021年6月17日星期四3、Patience is bitter, but its fruit is sweet. (Jean Jacques Rousseau , French thinker)忍耐是痛苦的，但它的果实是甜蜜的。10:516.17.202110:516.17.202110:5110:51:196.17.202110:516.17.20214、All that you do, do with your might; things done by halves are never done right.R.H. Stoddard, American poet做一切事都应尽力而为，半途而废永远不行6.17.20216.17.202110:5110:5110:51:1910:51:195、You have to believe in yourself. Thats the secret of success. Charles Chaplin人必须相信自己，这是成功的秘诀。-Thursday, June 17, 2021June 21Thursday, June 17, 20216/17/2021?全文检索系统索引构建流程（1）从文档源取得文档（2）对文档进行分词得到DocID, Term, Positions三元组（3）查看词典，把新出现的索引词合并到词典中，得到DocID, TermID, Positions（4）当DocID, TermID, Positions三元组的数量恰好填满内存时，对整个三元组集合执行快速排序（5）使用“游程编码”处理递增排序的三元组，然后编码压缩，输出到临时顺串文件（run file）（6）对所有顺串文件执行多路归并，结果输出为最终索引文件（7）将最终得到的词典存入