基于Hadoop的校园网站日志系统的设计与实现.pdfVIP

第 S1期 华东师范大学学报 (自然科学版) No．S1 2015年 3月 JournalofEastChinaNormalUniversity (NaturalScience) M ar．2015 文章编号 ：1000-5641(2015)S1—0126—06 基于 Hadoop的校园网站 日志系统的 设计与实现 姜开达， 章思宇，孙 强 (上海交通大学 网络信息中心，上海 200240) 摘要 ：每所高校校园网内成百上千的网站每天产生的Web访问日志量级都 以千万计 ．利用大数 据技术对这些海量、实时的数据进行集中搜集和长期存储 ，并通过后期大数据分析来挖掘这些 日 志的价值 ，无论从管理运维角度 ，还是从信息安全视角都具有实际意义．本文 以上海交通大学为 例，介绍 了利用 Hadoop大数据平 台，存储并分析校园网内数千 网站 日志的系统设计和实现． 关键词：大数据； Hadoop； 校园网站； 日志系统 中图分类号 ：TP393．08 文献标识码 ：A DOI：10．3969／j．issn．1000—5641．20l5．z1．021 Hadoop—basedcampuswebsitesloggingsystem designand implementation JIANG Kai～da， ZHANG Si—yu， SUN Qiang (NetvoorkInformationCenter，ShanghaiJiaoTongUniversity，Shanghai 200240，China) Abstract： Webaccesslogsdailyproducedfrom thehundredsofwebsitesofeachuniversitycam— pusnetworkcanbeasmuchastensofmillions，tocentrallycollectandstorethesemassivereal— timeandlong-term datausingbigdatatechnologyanddigthevalueoftheselogslaterusingbig dataanalysishavehugepracticalsignificancefrom theperspectivesofbothmanagementofopera— tionandmaintenanceandinformationsecurity．ThispapertakestheShanghaiJiaoTongUniver— sityasanexampleandintroducesCampusLoggingSystem ’Sdesignandimplementationbysto— ringandanalyzingthousandsofwebsiteslogusingHadoopbigdataplatform． Keywords： bigdata； Hadoop； campuswebsite； loggingsystem 0 引 言 随着云计算等技术的兴起与发展，大数据正在深刻地影响着人们的工作、学习和生活， 甚至左右着 国家经济和社会发展 ，我们已经迈入了大数据时代．如何在教育信息化领域充分 理解并迎接大数据技术带来的机遇和挑战，利用海量数据来挖掘信息、判断趋势、提高效率? 这是高校信息化部门未来建设数字化校园过程中必须面对的挑战． 大数据作为一门还在快速发展 中的技术 ，在校园网络应用中的落地需要一个渐进 的过 收稿 日期 ：2014—10 作者简介 ：姜开达 (1980一)，男，安徽池州人 ，硕士，工程师，主要研究方向为网络信息安全 第 S1期 姜开达，等：基于 Hadoop的校园网站 日志系统的设计与实现 127 程．上海交通大学信息化部门建设 了多个基于 OpenStack和 Hadoop的分布式云计算基础 平 台，给学校的科研工作和