搜索引擎开发实践.pptxVIP

搜索引擎开发实践

第一讲搜索引擎简介主讲人：罗刚

概述前导知识搜索引擎的查询语法搜索引擎的总体架构用户界面布局网站搜索的常用功能

前导知识CoreJava《Java技术手册》HashMapFileBitSet编译原理《ModerncompilerimplementationinJava》词法分析，有限状态机语法分析概率论《应用随机过程：概率模型导论》马尔可夫模型贝叶斯公式数据结构《Java程序设计：一种跨学科的方法》动态规划第3页

1JDK1.6增加虚拟内存到800M-Xmx800m2Eclipse支持中文的语言包3Lucene4Resinhttp:///download准备开发环境

TortoiseSVNhttp://01Anthttp://02Maven03LinuxCentOS()SecureCRT登录04准备开发环境(续)

词法分析(Lexicalanalysis)TokenNBAAND比赛TypeTERMANDTERMLucene中采用JavaCC实现词法分析。JavaCC有个Eclipse插件(/)例如分析输入的用户查询串，输出该字符串中出现的所有的合法的单词(Token)。例如对查询串“NBAAND比赛”的词法分析：

词法分析的原理TokensScannergeneratorNFA正则表达式JavascannerprogramStringstreamDFA最小化DFA模拟DFA

词法分析器如何工作?生成代码模拟DFA0403把NFA转换成DFA把用户输入定义的Token转换成为正规文法等价的形式0102把正规文法转换成NFA生成词法分析器

语法分析+DisNeyWOrld文本解析BooleanQueryModifierQNREQFieldQN(content,WOrld)FieldQN(content,DisNey)缺省列:content

StandardSyntaxParser.java…05JavaCC06Token.java03StandardSyntaxParserConstants.java04JavaCC(JavaCompilerCompiler)可以同时完成对文本的词法分析和语法分析的工作。01StandardSyntaxParser.jj02词法分析-JavaCC

一个JavaCC文件由三部分组成:jj文件的结构一个JavaCC文件由三部分组成:Options类的声明词法分析的声明(tokens)，和语法分析的声明options{STATIC=false;…}PARSER_BEGIN(StandardSyntaxParser)…PARSER_END(StandardSyntaxParser)/*TokenDefinitions*/

如果是真，在生成出的解析器和token管理器中，所有的方法和类变量都声明成静态的。这样仅仅允许一个解析对象存在，但是查询分析器应该有很多个，所以这个值应该设成假。STATIC是一个布尔选项，缺省值是真。选项(options)

lucene-3.0.0\contrib\queryparser\src\java\org\apache\lucene\queryParser\standard\parser\StandardSyntaxParser.jjparse方法定义了对用户查询串的词法分析功能，并完成初步的语法分析publicQueryNodeparse(CharSequencequery,CharSequencefield)QueryNode对象包含了分析出来的语法树词法分析-JavaCC

概率一本词典，从词典翻页看到的词是一个动词的概率？如何计算：全部的词=对词典中所有的词计数#得到一个动词的方法:是动词的单词数量如果一个词典有50,000项，10,000是动词，则P(V)=10000/50000=1/5=0.2

如何计算联合概率:P(“the”,”other”,”day”,”I”,”was”,”walking”,”along”,”and”,”saw”,”a”,”lizard”)构想:根据概率的链规则计算P(W)

概率的链规则根据条件概率的定义重写:更通用的公式P(A,B,C,D)=P(A)P(B|A)P(C|A,B)P(D|A,B,C)一般化P(x1,x2,x3,…xn)=P(x1)P(x2|x1)P(x3|x1,x2)…P(xn|x1…xn-1)

链规则应用到句子中的单词的联合