基于日志文件的数据监控系统设计与实现-软件工程专业论文.docxVIP

基于曰志文件的数据监控系统设计与实现摘 基于曰志文件的数据监控系统设计与实现 摘 要 随着互联网技术的日益发展，网络为人们提供了海量信息和多样性的娱乐环 境，如新闻资讯、影视视频、音乐等。然而，面对如此繁杂的信息和服务，针对 用户的个性化需求，如何帮助用户便捷地从海量数据资源中获取到他们真正想要 的信息和感兴趣的资源，个性化推荐引擎技术由此应运而生。 通过个性化推荐，能够极大地降低用户的浏览和检索成本，帮助用户更快定 位有效的信息和感兴趣的资源。但由于用户喜好的差异性、需求的复杂性以及推 荐信息的多样性，往往使得有效的推荐策略和推荐算法不能一蹴而就，也就必然 导致在产品推广和生产实验的过程中，需要依赖于个性化推荐引擎的曰志来进行 分析和评估，再根据分析评估结果对推荐策略进行迭代、优化和改进，以达到辅 助优化推荐过程的目的。面对成千上万的产品实验和海量的用户访问日志，如何 通过一个日志数据监控系统来实时有效地掌控产品的使用情况，以及快速客观地 评估产品推荐的效果和质量，并辅助促进推荐策略算法的优化和改进，这就成了 一个非常值得研究的课题。 本文通过设计并实现了一个基于推荐引擎目志文件下的数据监控系统来解决 上述问题，该监控系统主要针对产品实验和海量用户访问日志进行监控分析，并 根据监控分析结果快速客观地评估产品推荐的效果和质量，从而对产品或实验的 推广效果进行量化评价，具有一定的进步性。系统首先从HDFS的数据仓库中获 取经过过滤处理后的Ft志数据，接着采用临时的分布式处理框架，对事先定制的 实验指标进行快速的统计，并将统计结果导入MySQL数据中，最后再对数据库 中的参数指标按照配置的监控策略进行监控，监控的结果以邮件和短信的形式实 时发送给相应的实验和产品负责人，最终实现为推荐．的效果评估和监控策略算法 的改进优化提供实时、有价值的数据支持。 关键词：数据统计；数据监控；MapReduce Ⅱ 万方数据 软件j二程硕士学位论文Abstract 软件j二程硕士学位论文 Abstract With the increasing development of Internet technology，the network has provided people with vast amounts of information and diversity of entertainment environment，such as news，television video，music，etc．However，faced with various of information and services，how to help the users to conveniently obtain to the information they really want and interested in resources．So personalized recommendation engine technology arises at the historic moment． With personalized recommendations，user’S browsing and retrieval costs can be reduced．The core of personalized recommendation effect is recommended strategy and algorithm．But due to different preferences of users，complexity of the demand， and diversity of informations，offtering effective strategies and algorithms cannot be done at one stoke，According to these difficulties，analyzing and evaluating relied on the recommend ation engine log，repeat iterativing，continuous improving and optimizing are really necessary in the experiment and the proces s of online use． However，faced with thousands of products experiments，and massive user access logs， how to monitor real·time and effective control