使用mahout机器学习改进solr查询结果.pdfVIP

mahout solr 使用mahout机器学习改进solr查询结果 mmaahhoouutt ssoollrr 1.0 1.0 版本号：11..00 作者贾德星: 2012 5 2012 5 日期55月 山东浪潮齐鲁软件产业股份有限公司 1 概述 搜索引擎可以通过用户点击与用户的查询输入进行交互，用户与搜索引擎的交互行为反 映了用户的兴趣和主观目的。通过分析用户输入查询之后的点击行为，采用机器学习的方法， 可以优化、改进搜索引擎的查询结果。 本文将介绍如何使用mahout的贝叶斯分类算法，来实现动态调整solr查询结果评分的 机制。 2 分类算法与用户点击模型 2.1 贝叶斯定理公式 P(A|B)=P(B|A)*P(A)/P(B) P(A|B)=P(B|A)*P(A)/P(B) 贝叶斯定理公式：PP((AA||BB))==PP((BB||AA))**PP((AA))//PP((BB)) 用于计算在已知B的条件下A发生额概率。 P(A)观察到概念A的概率，称为先验概率，在mahout中A称为Label。 P(B/A）从属于A的实例中随机选择一个实例，选到B的概率，也称为似然率。 P(B)在一般情况下选到B的概率，在mahout中B称为Feature。 2.2 朴素贝叶斯算法 设每个数据样本用一个n维特征向量来描述n个属性的值，即：X={x1，x2，…，xn}， 假定有m个类，分别用C1,C2,…，Cm表示。给定一个未知的数据样本X（即没有类标号）， 若朴素贝叶斯分类法将未知的样本X分配给类Ci，则一定是 P(Ci|X)P(Cj|X)1≤j≤m，j≠i 根据贝叶斯定理 由于 P(X)对于所有类为常数，最大化后验概率P(Ci|X)可转化为最大化先验概率 P(X|Ci)P(Ci)。如果训练数据集有许多属性和元组，计算P(X|Ci)的开销可能非常大，为此， 通常假设各属性的取值互相独立，这样 先验概率P(x1|Ci)，P(x2|Ci)，…，P(xn|Ci)可以从训练数据集求得。 根据此方法，对一个未知类别的样本X，可以先分别计算出X属于每一个类别Ci的概 率P(X|Ci)P(Ci)，然后选择其中概率最大的类别作为其类别。 朴素贝叶斯算法成立的前提是各属性之间互相独立。当数据集满足这种独立性假设时, 分类的准确度较高，否则可能较低。另外，该算法没有分类规则输出。 2.3 用户点击模型 在用户搜索、点击结果的行为中主要有3个关键属性： � 用于标识用户的字符串 � 用户搜索请求字符串 � 用户在查看搜索结果后选择点击的文档ID 我们的需求是：用户输入搜索请求、得到搜索结果后，最可能选择点击的是哪些文档。 由此我们将文档ID做为A--Label，查询请求分词后的字符串做为B--Featrue，实现在已得知 B，判断它属于A的概率，即P(A/B)。 Bayes分类算法需要线下训练数据(来自搜索引擎日志)来进行学习后建立模型，然后根 据建立的模型和用户输入的搜索请求在线计算得到各文档可能被点击的概率，并进行评分、 排名。 3 环境 部署solr应用+自扩展的搜索引擎日志处理器及组件。 部署mahout。 由于mahout 的很多机器学习算法都是基于hadoop map/reduce，故还需要部署hadoop 环境。 4 搜索引擎日志 用户点击日志的数据模型： 属性名 属性值