面向专业元搜索引擎技术研究.docVIP

面向专业元搜索引擎技术研究 　　摘要：为解决专业元搜索引擎查准率问题，研究专业元搜索引擎返回网页的专业相关度。通过独立搜索引擎返回的网页集，深度寻找除网页在独立搜索引擎位置以外的其余信息，设计一种基于遗传算法的网页专业相关度模型，并探讨模型的实现原理以及实现过程。 　　关键词：搜索引擎；专业元搜索引擎；遗传算法；模型 　　中图分类号：TP301文献标识码：A文章编号：1672??7800（2014）007??0021??03 　　 　　0引言 　　当今，互联网信息呈爆炸式增长，人们对搜索引擎信息覆盖率和精准度的要求越来越高。本文基于元搜索引擎覆盖面，深入研究元搜索引擎对某一专业领域信息搜索的精准度，基于改进遗传算法建立专业相关度模型，使用模型进行网页排序、挑选，从而得到专业相关度高的网页。 　　1专业元搜索引擎 　　专业搜索引擎是针对某一具体领域的一种搜索引擎，它能搜索一定范围的互联网信息，返回和某一专业领域相关的信息。元搜索引擎［1］依赖多个独立搜索引擎，不需维护庞大的数据库，元搜索引擎的结果信息全部来自各独立搜索引擎，其对结果进行处理后按某一权重值排序，并将最后排序结果返回输出给用户。 　　2遗传算法改进 　　2.1选择算子改进 　　轮盘赌选择算法是目前较为常用的方法，但其存在以下缺陷：①在进化过程中，适应度高的个体被复制出很多子孙后代，同时那些适应度低的个体会面临死亡淘汰，致群体单一、无多样性；②进化过程中一旦发现群体单一，就完全有可能陷入局部最优的尴尬境地。为解决以上问题，本文对选择算子进行改进、优化，从而得到新的选择算子，具体如下：①对群体中的个体采用概率生存策略，选择生存个体，一定程度上解决群体单一性问题；②在概率生存的基础上，选择最优个体进入下一代，增加算法的收敛速度，并在全局范围内收敛。通过以上方法确保群体的多样性和解的全局最优性。 　　2.2交叉算子改进 　　 遗传操作中的交叉算子能使父代的优秀基因传递给下一代，产生很多下一代新个体，因此交叉算子是遗传操作的一个基本操作。遗传算法的收敛速度受交叉算子的直接影响。在简单遗传算法中，交叉操作一般是随机进行的。应用固定交叉率的缺点在于父代的优良基因不能很好地传到下一代，从而会对算法收敛速度造成负面影响。本文采用以下自适应交叉率:PC=PC1－(PC1－PC2)*dD(1)式中：PC1=0.9；PC2=0.4；d代表当前进化次数；D代表总的进化次数。 　　2.3变异算子改进 　　为获得全局最优解，本文采用以下自适应变异率:Pm=Pm1－(Pm1－Pm2)*dD+Pm2*D(Fmax－Favg)(2)式中：Pm1=0.1；Pm2=0.001；d代表当前进化次数；D代表总的进化次数；Fmax代表群体中最大的适应度值；Favg代表每代群体的平均适应度值。 　　3最小二乘法求多元线性回归方程 　　现有文献没有给出多元线性回归方程的最小二乘解法，仅仅给出了简单问题的解决方法，本文对多元线性回归方程最小二乘法探讨如下: 　　3.1多元线性回归最小二乘解法 　　 有数据点（x11,x21,x31,...,xn1,y1）, （x12,x22,x32,...,xn2,y2）,…,(x1N,x2N,…,xnN,yN) 　　设回归函数为y=b0+b1x1+b2x2+b3x3+...+bnxn,则多元线性回归最小二乘问题即求:Q(b0,b1,...,bn)=∑Nj=1［yj－(b0+b1x1j+b2x2j+b3x3j+…+bnxnj)］2达到最小。由多元函数取得极值的必要条件知: 　　??Q??bk=－2∑Nj=1［yj－(b0+b1x1j+b2x2j+…+bnxnj)］xkj=0,其中k=0,1,…,N,x0j=1(3) 　　记=1N∑Nj=1yj,xi=1N∑Nj=1Xij,i=1,…,n,在式(3)中取k=0得b0=－b1x1－...－bnxn,由式(3)=∑Nj=1Xkjyj－b0∑Nj=1Xkj－b1∑Nj=1X1jxkj－...－bn∑Nj=1Xnjxkj=0(k=1,2,…,N)(4) 　　≥∑Nj=1Xkjyj－(－b1x1－...－bnxn)∑Nj=1Xkj－b1∑Nj=1X1jxkj－...－bn∑Nj=1Xnjxkj=0 　　≥b1∑Nj=1(X1j－x1)xkj+b2∑Nj=1(X2j－x2)xkj+...+bn∑Nj=1(Xnj－xn)xkj=∑Nj=1(yj－)xkjk=1,2,…,N(5) 　　记Skj=∑N j=1(Xij－x1)xkj=∑N j=1(Xkj－xk)(xij－x1) i=1,2,…,nSky=∑N j=1Xkjyj－∑N j=1Xkj=∑N j=1(Xkj－xk)(yj－) 　　≥b0=－b