基于大数据的用户行为分析系统(1).pdfVIP

电子信息科技风２０２０年２月

ＤＯＩ:１０.１９３９２/ｊ.ｃｎｋｉ.１６７１￣７３４１.２０２００４０９４

基于大数据的用户行为分析系统

李微丽罗汝颜一鸣

吉首大学软件学院湖南张家界４２７０００

摘要:随着互联网的日益普及ꎬ网民每天的网络行为带来了网络数据的爆炸式增长ꎮ网络用户行为数据中蕴含着大量有价

值、有意义的信息ꎬ网络用户行为分析系统通过对这些数据进行统计、分析ꎬ结果通过前台直观的报表展示ꎬ并进行智能推荐ꎮ一

方面可以帮助营销商从中发现用户使用产品的规律ꎬ并将这些规律与网站的营销策略、产品功能、运营策略相结合ꎬ优化用户体

验、实现更精细化和精准的运营与营销ꎬ让产品获得更好的增长ꎮ另一方面还可以应用于公安部门兼顾打击罪犯、获取证据、提前

管控、缩小影响范围从而保护人民、不阻碍互联网的正常发展轨迹ꎮ

关键词:互联网ꎻ大数据ꎻ用户行为分析

一、绪论完成网站数据的展现、分析等操作ꎻ智能推荐:使用基于内容过

随着科学技术的飞速发展和社会经济水平的不断进步ꎬ互滤的推荐算法和基于双重聚类的协同过滤推荐算法融合后的

联网规模迅速膨胀ꎬ网络流量、用户规模等互联网组成部分快混合推荐技术ꎬ对用户行为日志进行分析并对用户进行智能推

速增长ꎮ根据«第３３次中国互联网络发展状况统计报告»中的荐服务ꎬ此技术在保证推荐准确率的同时ꎬ还能有效提高推荐

数据统计ꎬ截止２０１３年１２月底ꎬ中国网民规模已达到６.１８亿ꎬ结果的多样性ꎬ解决了传统推荐算法推荐结果单一、数据稀疏、

互联网普及率为４５.８％ꎮ这充分说明了互联网已经逐渐成为冷启动等问题ꎻ行为预测:根据已有的用户行为数据ꎬ设计数据

人类生活、学习所依赖的一部分ꎮ包重组算法ꎬ实现网络数据的重新组合ꎮ采用协议解析技术ꎬ

网民每天的网络行为带来了网络用户行为数据的爆炸式还原网页的组成元素ꎮ基于ＳｈａｒｐＰｃａｐ与ＰａｃｋｅｔＤｏｔＮｅｔ类库

增长ꎬ网络用户行为数据中蕴含着大量有价值、有意义的信息ꎬ对模型进行实现ꎬ最后采用多重分形的思想建立用户行为模

通过对用户行为日志进行统计、分析ꎬ结果通过前台直观的报型ꎬ用ＬＵＢＡＭ模型计算出某时间段内用户的行为过程ꎬ并预测

表展示ꎬ可以帮助营销商大致掌握用户的喜好ꎬ从中发现用户下一时间段内用户的行为过程ꎮ以最小均方误差值作为估算

使用产品的规律ꎬ将这些规律与网站的营销策略、产品功能、运误差指标ꎬ判定用户行为的倾向程度ꎮ

营策略相结合ꎬ对用户进行智能推荐ꎬ以优化用户体验、实现更三、研究内容

精细化和精准的运营与营销ꎬ让产品获得更好的增长ꎮ此外ꎬ(１)智能推荐:智能推荐即根据对用户的了解ꎬ推送用户可

可以通过数据分析来预测用户的行为倾向ꎬ为有关部门对网络能会感兴趣的产品ꎮ假设我们将此系统应用在一个商城平台

舆论进行合理的监控和干预提供了理论依据ꎬ还可以帮助公安上ꎬ那么当用户在挑选商品时势必会过滤掉不感兴趣的商品ꎬ

部门针对犯罪嫌疑人进行网络行为监控等ꎮ搜索一些感兴趣的商品ꎬ我们对相应的按钮填上埋点ꎬ就可以

二、用户行为分析系统架构设计收集用户感兴趣的关键词ꎬ从而使用智能推荐算法ꎬ对用户推

(１)数据采集层ꎮ使用传统的ＪＳ为网站定制埋点方案以送一些产品ꎮ而传统推荐算法缺少对个体多样性的考虑ꎬ推荐

采集数据ꎬ经过Ｆｌｕｍｅ日志收集系统进行高可用、高可靠、分布结果过于单一ꎬ还具有冷启动、数据稀疏性等问题ꎮ为解决这

式的海量日志监听和采集ꎮ根据其业务需求可在任意地点任些问题ꎬ本系统使用基于内容过滤的推荐算法和基于双重聚类

意场景进行数据采集ꎬ通过植入多段代码ꎬ追踪用户在每个界的协同过滤推荐算法ꎬ将两种推荐算法进行融合后的混合推荐

面上的系列行为ꎬ采集到用户的全量行为ꎮ技术作为系统的推荐引擎ꎬ完成智能推荐系统模型的设计与

(２)数据分析层ꎮＦｌｕｍｅ将采集后的数据发送到ｋａｆｋａ消