一种基于ElasticSearch系统架构.docVIP

一种基于ElasticSearch的推荐系统架构 　　摘要：该文在研究了推荐系统和搜索技术以后，提出了一种利用搜索引擎来进行数据召回的方式，首先采用关键词抽取算法对用户的历史记录进行概率分析，抽取出个性化的关键词并给到ElasticSearch搜索引擎进行候选集的召回，然后提出一种特征融合的方法对样本集进行了整合，最后利用机器学习算法对样本进行了训练并预测输出。与协同过滤和纯粹的基于内容的推荐系统进行对比，利用基于ElasticSearch的推荐系统架构将推荐系统的点击率提高到了17.5%。 　　关键词： 推荐系统； ElasticSearch； 机器学习； SVM； GBDT 　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）36-0230-03 　　Abstract： Based on the research of the recommendation system and search technology， this paper puts forward a method of data to recall the use of search engines， the first probability analysis using keyword extraction algorithm to extract the user record， and personalized keywords to the ElasticSearch search engine recall candidate set， the sample sets for the integration method a fusion feature is then proposed， finally using machine learning algorithm to training samples and predictive output. Compared with collaborative filtering and pure content-based recommendation system， the recommendation rate of recommendation system is increased to 17.5% by using ElasticSearch based recommendation system architecture. 　　Key words： recommendation system； ElasticSearch； machine learning； SVM； GBDT 　　1 概述 　　21世纪以来，信息技术的不断发展和互联网规模的不断扩大，使得数据量有了指数级的增长，不同的用户在接受来自世界各地海量的数据，如何有效地将数据转化为信息，成为一个亟待解决的问题[1]。从用户的角度来看，用户更加想接收到对自己有用的信息，或者自己感兴趣的信息，而不是海量信息的集合；从信息提供者的角度来看，想提供一种对于不同用户展示不同信息的平台，而这个展示的信息是跟用户紧密联系的。在这种情况下，推荐系统应运而生[2]。推荐系统的产生主要完成以下的工作内容：将用户和信息紧密结合，对于不同的用户进行个性化的定制，通过分析特定用户的偏好，帮助用户从海量数据中筛选出用户偏好的信息，然后将这些个性化的信息呈现给用户。 　　推?]系统最核心的部分为推荐算法，本文首先研究了当前最流行的推荐算法，主要包括基于内容的推荐算法，基于协同过滤的推荐算法。其中还包括在模型建立过程中用到的数据降维方法，特征提取方法等。这些算法在不同的场景应用中都会有各自的优缺点，因此会有不同的适用范围。在用户使用有一定基础的情况下，基于物品的协同过滤算法在目前来说是一种比较稳定的通用推荐算法，它预测准确度较高，而且算法的解释性较高。 　　搜索技术是一项比较成熟的技术，它将因特网上的信息进行整合，对用户开放查询。搜索引擎主要工作原理分为三部分：从网络中搜集数据；将数据进行整理；接受用户的查询。搜索引擎有着快速返回搜索结果的优势，因此可以将搜索技术应用于实时推荐系统中。这样对于推荐系统的实时性和准确性都会有一定的提高。 　　本文对基于搜索技术的推荐系统关键技术进行研究，对于数据到推荐结果之间进行了搜索和推荐两步筛选，并对实时推荐系统提供了一种通用架构。在推荐算法的选用中，提供了一种将推荐问题转化为二分类问题的特征合并方法，与普通的基于协同过滤的算法相比较，解决了“冷启动”的问题，同时在算法内部隐含用户和物品聚类的数学依据，对于数据量大而用户量少的推荐场景提高了推荐准度，也解决了“冷启动