因子分解机算法在基于深度数据包检测手机应用中应用.docVIP

因子分解机算法在基于深度数据包检测手机应用中应用 　　摘要：为了从网络数据包中抽取相关特征进行手机应用推荐，使用江苏电信运营商在互联网服务提供商（ISP）机房抽取的网络深度数据包数据，从中抽取运营商所关心的热点手机用户的App访问信息，然后使用基于矩阵分解（包括奇异值分解（SVD）和非负矩阵分解（NMF））的推荐算法、奇异值分解推荐算法以及因子分解机推荐算法进行手机App推荐。实验表明，因子分解机算法取得了较好的推荐效果。这说明因子分解机在手机应用推荐的场景中可以更好地描述用户和物品之间的隐含关联。 　　关键词：手机App；深度数据包检测；奇异值分解；非负矩阵分解；因子分解机 　　中图分类号： TP391 　　文献标志码：A 　　Abstract：To extract features from Deep Packet Inspection （DPI） data and perform mobile application recommendation， using the DPI data collected from Internet Service Provider （ISP） in Jiangsu Telecom， the access history data of active users defined by the communications operator was processed by matrix factorization recommendation （including Singular Value Decomposition （SVD） and Nonnegtive Matrix Factorization （NMF））， SVD recommendation and factorization machine recommendation algorithms for mobile phone application recommendation. The results show that factorization machine algorithm achieves better performance， it means that factorization machine algorithm can better describe the latent connection in the useritem relationship. 　　Key words：mobile application； Deep Packet Inspection （DPI）； Singular Value Decomposition （SVD）； Nonnegtive Matrix Factorization （NMF）； factorization machine 　　0 引言 　　随着移动互联网的发展，很多计算机终端的应用逐步转移到移动端，而互联用户的消费也逐渐向手机消费偏移。手机端的用户消费给线上（Over The Top， OTT）企业带来了巨大的收益，而运营商的收益空间日益受到线上业务的挤压，这导致了运营商也把越来越多的注意力转移到线上的业务。相比于OTT企业，运营商的一个优势就是其拥有OTT企业所不具备的硬件网络后台数据，其中就包括语义信息极其丰富的深度数据包检测（Deep Packet Inspection， DPI）数据。而手机端的大部分用户消费都集中于对手机App的消费。 　　虽然针对手机App的推荐有了一些研究成果，但是从DPI角度进行App推荐的研究才刚刚兴起，怎样提取有效的特征，并且采用合适的方法建立App推荐系统，是一个新问题。 　　利用DPI数据包进行App的观察与推荐，成为了运营商所关心的问题。本文使用的是南京市DPI数据包中用户对App访问情况的相关字段，根据运营商的运营需求，面向访问量较大的活跃用户进行App的推荐。 　　本文从数据包中抽取手机App编号这一字段进行分析，在线更新用户对App的访问特征，并且使用推荐算法对手机用户进行App推荐。 　　个性化推荐[1-2]从20世纪90年代被提出以来，持续获得进展，在经典的协同过滤算法[3]的基础上，人们对相似度的衡量算法进行持续改进[4-6]，针对特征矩阵稀疏的问题，人们利用奇异值分解和非负矩阵分解等方法寻找低秩特征[7-8]，进行个性化推荐。近两年来，人们从特征出发寻找个性化推荐更加统一的形式化表达，提出因子分解机算法[9]。手机App推荐方面，近两年主要还是从个性化推荐和隐私保护的方面[11-12]进行研究。 　　1 问题背景分析 　　本文讨论的数据是江苏电信南京地区的3G手机上网用户