基于运营商大数据的互联网海量用户行为分析系统设计与实现-电子与通信工程专业论文.docxVIP

万方数据 万方数据 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 研究生签名： 日期： 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。 涉密学位论文在解密后适用本授权书。 研究生签名： 导师签名： 日期： 摘要 在移动互联网时代，缺乏互联网运营经验、对终端掌控力度不足、业务创新能力落后、 缺乏标准开发能力以及资源使用与管理运营支撑效率低已经成为了制约电信运营商销售及利 润增长的主要因素。面临移动互联网带来的庞大的数据挑战，“流量经营”和“去电信化”等 运营商转型思路将为运营商的重新打开转型之门，由此电信运营商的转型之路必须要围绕海 量数据所带来的商机作深度挖掘和分析。 在网络时代,运营商拥有着庞大的基础网络,是大部分数据的传输与交换中心。同时，运营 商自身的网络管道，业务平台、支撑系统中每天也在产生大量与用户有关的有价值数据，这 些海量数据将远远超过一般互联网公司所拥有的数据量，相关数据的质量和涵盖范围更是互 联网公司所无法比拟的。因此，运营商拥有的是更加名副其实的大数据，如果将这些数据加 以应用，必将为运营商带来巨大的商业价值。 由于相关支撑手段的欠缺，无法对用户行为进行有效的监控和分析，用户流量的不透明、 监管力度不够等难题对整个运营商业务管理提出了严峻的挑战。本文首先分析了目前网络探 针数据监测与采集技术，根据运营商网络特点提出了针对运营商网络最优探针部署方式。其 次针对采集获得的海量数据，采用开源大数据 Hadoop 分析存储技术进行分析、识别、清洗/ 统计分析。本文中设计的基于运营商大数据的互联网海量用户行为分析系统，立足于电信运 营商强大的网络及用户资源，通过业务识别、DPI、内容感知、模式匹配、机器学习等技术深 入挖掘用户流量价值，全方位提取用户信息，包括接入终端信息、上网行为偏好等。通过对 此类信息进行行为建模、深度挖掘和知识发现，洞悉用户的行为偏好，尤其是塑造“家庭画 像”，找出用户使用业务的“痛点”，从而为运营商找到支撑营销的最佳切入点，充分利用海 量的用户流量价值，提升精准营销能力。 论文对电信运营商网络进行了深入的研究，并深入分析了现有数据采集、大数据分析存 储技术的优劣，综合各方特点，引申出针对运营商网络的解决方案，很好的构建了一个用户 行为分析及网络服务质量体系。同时，作者结合实践经验和现网案例，设计了家庭画像数据 分析存储系统，支撑运营商应用系统需求及市场营销需求。本论文的成果设计合理，架构清 晰，同时可以扩展到其他互联网网络应用中。 关键词：探针数据采集，协议分析，流量清洗，家庭画像 I Abstract During Mobile Internet era, lacking of Internet operation experiences and terminal control, poor service innovation and standard developing capabilities, together with low management and operation efficiency have become main restrictive elements of sales and profit promotion of Telecom Carriers. Facing the huge data challenge brought by Mobile Internet, “Traffic Operation”, “De Telecommunication” etc. are opening the door of transformation for carriers. Therefore, the path of transformation of carrier should focus on massive data mining and analysi