一种视频点播日志分析系统的设计与实现-计算机应用与软件.PDF

第３２卷第１期　　　 计算机应用与软件 Ｖｏｌ３２Ｎｏ．１ ２０１５年１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊａｎ．２０１５ 一种视频点播日志分析系统的设计与实现 朱　明　慈海波　苏厚勤 （东华大学计算机科学与技术学院　上海２０１６００） 摘　要　　视频点播系统产生大量日志信息，包括机顶盒注册、页面浏览、会话和全局会话负载均衡等日志信息。通过采集这些日 志，可以分析出用户的点播流程和视频点播系统的运行状态等信息。对一种视频点播日志分析系统的体系结构进行分析，设计基于 Ｃ／Ｓ架构的日志采集模块和基于多线程并行处理方式的日志分析模块，实现一个视频点播日志分析系统。仿真实验证明，多线程并 行处理方式比单线程处理在日志分析的效率上明显提高。 关键词　　视频点播日志采集　ＭＩＮＡ日志分析　正则表达式　并行 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１５．０１．０１０ ＤＥＳＩＧＮＡＮＤＩＭＰＬＥＭＥＮＴＡＴＩＯＮＯＦＡＬＯＧＡＮＡＬＹＳＩＳＳＹＳＴＥＭＦＯＲＶＯＤ ＺｈｕＭｉｎｇ　ＣｉＨａｉｂｏ　ＳｕＨｏｕｑｉｎ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＤｏｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０１６００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｖｉｄｅｏｏｎｄｅｍａｎｄ（ＶＯＤ）ｓｙｓｔｅｍｗｉｌｌｐｒｏｄｕｃｅａｌａｒｇｅｎｕｍｂｅｒｏｆｌｏｇｉｎｆｏｒｍａｔｉｏｎ，ｉｎｃｌｕｄｉｎｇｓｅｔｔｏｐｂｏｘｒｅｇｉｓｔｒａｔｉｏｎ，ｐａｇｅ ｂｒｏｗｓｅ，ｓｅｓｓｉｏｎａｎｄｇｌｏｂａｌｓｅｓｓｉｏｎｌｏａｄｂａｌａｎｃｉｎｇ，ｅｔｃ．Ｂｙｃｏｌｌｅｃｔｉｎｇｔｈｅｓｅｌｏｇｉｎｆｏｒｍａｔｉｏｎ，ｉｔｉｓａｂｌｅｔｏａｎａｌｙｓｅｔｈｅｉｎｆｏｒｍａｔｉｏｎｏｆｕｓｅｒ’ｓ ｖｉｄｅｏｏｎｄｅｍａｎｄｐｒｏｃｅｓｓ，ｒｕｎｎｉｎｇｓｔａｔｕｓｏｆｔｈｅｓｙｓｔｅｍ，ａｎｄｓｏｏｎ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅａｎａｌｙｓｅｔｈｅａｒｃｈｉｔｅｃｔｕｒｅｏｆａＶＯＤｌｏｇａｎａｌｙｓｉｓｓｙｓｔｅｍ， ｄｅｓｉｇｎｔｈｅＣ／Ｓｓｔｒｕｃｔｕｒｅｂａｓｅｄｌｏｇｃｏｌｌｅｃｔｉｏｎｍｏｄｕｌｅａｎｄｔｈｅｍｕｌｔｉｔｈｒｅａｄｅｄｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｂａｓｅｄｌｏｇａｎａｌｙｓｉｓｍｏｄｕｌｅ，ａｎｄｒｅａｌｉｓｅａＶＯＤ ｌｏｇａｎａｌｙｓｉｓｓｙｓｔｅｍ．Ｓｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅｍｕｌｔｉｔｈｒｅａｄｅｄｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇａｐｐｒｏａｃｈｎｏｔｉｃｅａｂｌｙｉｍｐｒｏｖｅｓｔｈｅｒｕｎｎｉｎｇ ｅｆｆｉｃｉｅｎｃｙｏｆｌｏｇｉｎｆｏｒｍａｔｉｏｎａｎａｌｙｓｉｓｃｏｍｐａｒｅｄｗｉｔｈｓｉｎｇｌｅｔｈｒｅａｄｅｄｐｒｏｃｅｓｓｉｎｇ． Ｋｅｙｗｏｒｄｓ　　Ｖｉｄｅｏｏｎｄｅｍａｎｄｌｏｇｃｏｌｌｅｃｔｉｏｎ　ＭＩＮＡｌｏｇａｎａｌｙｓｉｓ　Ｒｅｇｕｌａｒｅｘｐｒｅｓｓｉｏｎ　Ｃｏｎｃｕｒｒｅｎｃｅ 用系统的软件架构如图１所示。日志分析系统主要由三个子系 ０　引　言 统组成，即日志采集，日志分析和信息展示子系统。 视频点播ＶＯＤ（ＶｉｄｅｏＯｎＤｅｍａｎｄ）系统是下一代广播电视 网ＮＧＢＮ（ＮｅｘｔＧｅｎｅｒａｔｉｏｎＢｒｏａｄｃａｓｔｉｎｇＮｅｔｗｏｒｋ）业务平台的重要 组成部分，可以提供视频点播、频道回放和时移电视等服务。用 户每天访问视频点播业务将产生大量的日志信息。这些日志经 过采集、清洗、转换和装载后对其进行分析，从中获取用户的点 播信息、行为偏好和系统的运行状态等，从而实现一种视频点播 日志分析系统。基此，为用户提供更好的服务和确保ＮＧＢＮ的 运行质量。 目前国内外对电子商务Ｗｅｂ日志格式标准和挖掘分析的 研究及应用较为广泛