基于上网日志挖掘的用户网购行为分析.pdfVIP

中国移动通信集团设计院第20届新技术论坛论文集 移动互联网 基于上网日志挖掘的用户网购行为分析 万仁辉，沈 亮，戴鹏程，隋延峰 院本部／网优所 摘要：移动网络运营商拥有用户全面的上网日志，这些信息蕴含着巨大的价值。通过对用户上网日志的 挖掘，运营商不仅能够对网络设施进行维护，辅助进行网络建设，也能为运营商自身和其他行业营销提供 依据。本文对上网日志信息的构成进行了阐述，以网购用户为目标，介绍了数据预处理的方法，利用兴趣 模型对用户行为进行分析。 关键词：上网日志，数据预处理，数据挖掘，兴趣模型 标识、位置区、Ip地址、TCP／UDP端口、流量、开 1 引言 始／结束时问等信息。HTTP信息包含了HTTP协议 近年来移动互联网迅速发展，各类移动应用层 出不穷，手机正逐渐取代电脑成为用户上网的第一 等，这些字段是分析用户上网行为的基础。结合这 入口。移动通信网络运营商也大力建设4G网络， 2大类信息，用户上网行为形成了一条完整的记录。 以满足用户对高速移动网络连接的需求。运营商拥 3 用户网购上网日志预处理 有用户全面的上网目志信息，这些信息不仅可以用 于对移动网络建设与维护，也可用于用户上网行为 随着移动互联网用户规模的爆发式增长，运营 的分析，为运营商的终端营销、业务营销提供依据。 商每天至少记录了百亿级别的上网日志数据。为了 此外，运营商也正在加深与移动互联网厂家合作， 更好地对日志信息进行挖掘，需要对日志信息进行 如OTT厂家、视频网站等，如何利用上网日志信息 预处理，将原始的数据转化成适合数据挖掘所必须 更好地开拓与其他行业合作也是移动互联网数据分 的数据。在本文中，主要是对上网日志进行筛选和 析应用的～个方向。本文以网购用户为目标，对上 更新，获取网购商品、用户位置、用户终端等信息。 网日志进行挖掘，分析用户的网购行为。 3．1网购商品识别 此处以主流的网购网站为分析目标，包括淘宝、 2上网日志信息 京东、当地、亚马逊等，提取用户浏览过详细信息 上网日志信息包含了用户所有的上网记录，主 的商品记录。用户浏览商品时，将同时会获取网页 要从核心网侧各个接口抓取，如图1所示。在2G 框架信息、JS／PHP、商品图片等信息，商品ID一 网络中，日志信息主要从Gb、Gn、Gi等接口抓取：般在某一个网页框架信息的URL中。为了提取商品 在3G网络中，主要从Iu、Gn、Gi等接口抓取；在信息，需要研究每个购物网站的特点，包括在PC 浏览器、WAP浏览器、安卓APP客户端、苹果APP 4G网络中主要从S1、$5／$8、SGi等接口抓取。各 个接口获取的用户上网信息几乎一致，但用户身份 客户端等不同浏览环境下的URL。淘宝安卓APP 标识信息、位置信息不一定相同。如Gn接口能够 的浏览商品的部分记录如表2所示，其中商品ID 包含在第3条URL中。 获取用户的IMSI、MSISDN、IP地址等用户标识，而 利用商品ID，通过爬虫或者其他方式可获取用户 Iu接口只能获取IMSI，Gi只能获取IP地址信息。为 了保证上网日志信息的准确性和完整性，运营商现倾 浏览商品的详细信息。根据用户网购行为与URL的 向于多接口同时采集，多接口日志信息合并方式。 关联性，也可判断出用户搜索或者收藏商品等行为。 用户的上网信息涵盖各个协议层面的内容，包