基于语义相似度的比价系统关键技术研究-计算机技术专业论文.docxVIP

湘潭大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湘潭大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 涉密论文按学校规定处理。 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日 I I 摘 要 随着互联网的成熟，网络开始从各个方面改变人们的生活方式，受互联网思 潮的影响，传统零售业开始寻求一种新的销售理念，电子商务随之流行起来。现 在发展比较成熟的购物网站如淘宝、京东、唯品会、亚马逊等，一般都缺乏与其 他不同类别的电商网站来对比以突出自己网站优越性的功能。这些购物网站上的 商品种类非常之多，没有突出它们专制于销售哪一类商品，并且价格不一，以至 于用户很难在这些网站上挑选到特定类别上心仪的商品。平台上入驻的商家也由 于不知道上传的商品的线上市场价格而难以对产品制定最合适的价格，在产品价 格方面没有竞争优势。 本文针对当前电商网站的一些不足，提出这种比价系统来改善电商平台上这 方面的用户体验问题。主要工作如下： （1）本文基于Heritrix爬虫框架，制定了一个高效灵活的抓取策略来爬取商 品数据。针对购物网站商品页面的这种特定网页结构，采取了结合HTMLParser 和正则表达式的方法来提取所抓取网页中的商品数据，建立了本系统所需要的商 品数据库。 （2）虽然不同的人对一个商品的描述是不尽相同的，但从语义上来说，所 表达的内容是很相似的，为提高商品比价时商品描述与数据库中商品信息匹配的 精确度，本文提出了一种基于语义的中文文本相似度算法。利用知网中的词汇语 义信息来计算词语的语义相似度，从词语的多个角度出发来分析词语的权重并以 此来提取文本的关键词，通过计算文本关键词之间的相似度来度量文本之间的相 似度，并用实验验证了这种算法的有效性。 （3）为了进一步提高商品比价的精确度，本文利用商品的一些标签信息如 品牌，功效等，根据这些商品标签的相似性进一步确定与待比较商品最相似或最 相关的商品，以获得更精确的比价结果。文中利用商品标签在商品信息中出现的 频数训练各个标签的权值，根据各个标签的匹配度计算标签的相似度。 实验结果表明本文提出的这种比价系统效果较好，能得到较为精确的比价结 果。 关键词：比价系统；网络爬虫；web信息抽取；语义相似度 I II Abstract As the maturity of the Internet ,the Internet has changed peoples way of life from all aspects.Influenced by the trend of the Internet,the traditional retail industry began to seek a new marketing concept,the e-commerce become more popular. Now,the shopping websites develop more mature such as Taobao,Jingdong,vipshop, Amazon and son on.Generally,they are lacking of the function that compare to the different categories business website in order to highlight the superiority of their website.These shopping sites have so many types of commodities that can not highlight they specially sales what kind of commodities and the price is not the same.So it is difficult for users to pick a favorite commodities in specific categories on these websites. The s