基于图模型的通用半结构化数据检索-计算机工程.PDF

第 卷 第 期 计 算 机 工 程 年 月 人工智能及识别技术 文章编号 文献标识码 中图分类号 基于图模型的通用半结构化数据检索 康积华 张 奇 复旦大学计算机科学技术学院上海 上海市智能信息处理重点实验室上海 摘 要 随着用户输入查询的自由度越来越高导致已有半结构化数据检索模型无法满足用户需求 针对该问题 提出一种新的半结构化数据检索模型 在对原始查询进行分词后把得到的词条作为基本元素通过特征方程给 每个词条设定对应权重使用基于朴素贝叶斯的内容属性匹配方法进行内容属性匹配概率设定并采用基于编辑 距离的字符串相似度算法改善检索质量 从某商业搜索网站的查询日志中随机抽取真实的查询记录人工为这些 查询标注正确答案从而做性能评估 实验结果表明与层次语言模型半结构化数据概率检索模型相比该模型 能有效提高半结构化数据的检索性能 关键词 半结构化数据查询数据检索图模型全局因子特征集合 中文引用格式康积华张 奇基于图模型的通用半结构化数据检索计算机工程 英文引用格式 验针对类似这种半结构化数据的搜索也成为搜索 概述 领域的一个研究热点 通过收集用户的真实求职查 随着互联网的发展网络上的信息呈爆炸式增 询发现用户所输入的查询以自由文本居多而这些 长其中有一些数据不像数据库系统有明确的结构 信息与数据库中的真实工作信息往往是不一致的 但是也还具有一定的结构性如地址信息电影信息 在数据库中一条数据会包含多个属性如工作内 等称其为半结构化数据 而随着移动智能设备的 容公司名称工作性质等 如用户的查询可能是 大量使用用户对于搜索应用的需求也越来越多 上海 实习 其中 属于工作内容 用户使用移动智能设备所输入的查询具有多样性 上海 属于工作地点 实习 属于工作性质 而在 如用户使用求职应用来搜索工作信息时他的查询 工作地点中查询 是一项无意义甚至会导致 可能关注的是工作内容工作地点工作待遇或者是 检索性能下降的工作