企业文档信息管理系统的设计与实现.docVIP

日志采集与分析在Web网站中的设计与实现 张天生 (上海交通大学软件学院 上海 201620) 摘要：本论文主要描述了针对Web网站如何进行日志收集与分析，整个系统涉及到TypeScript、JavaScript、ASP.NET、Microsoft Azure、数据挖掘等技术介绍了整个系统的架构设计 关键词 日志采集 数据分析 数据挖掘 THE DESIGN AND IMPLEMENTATION OF WEB LOG COLLECTING AND DATA ANALYSIS Tiansheng Zhang (School of Software, Shanghai Jiao Tong University, Shanghai,201620) Abstract：This thesis describes how design and implement Telemetry for website. The following technologies are used in this system: TypeScript, JavaScript, ASP.NET, Microsoft Azure and Data Mining. This thesis introduces the design, and describes how to analyze and mining the Telemetry logs. Keywords Telemetry, data analysis, data mining 1概述 随着大数据概念的兴起，越来越多的企业对数据变得重视起来，如何收集企业感兴趣的数据，然后从中挖掘出有用的信息，也成了热门话题。对于企业来说，收集的日志不但包括在服务器端的日志，而且包括分别在不同客户端的日志。收集的日志可以是一个系统事件，也可以是用户的一个操作，还可以是程序的某种状态。通过对这些日志加以分析，我们可以发现系统是否运行正常，用户是否对我们的产品满意，哪些地方是需要改进的。 2系统相关技术 开发此系统会涉及到一些相关技术，在对系统架构讲述之前对一些相当比较新的技术进行介绍。2.1 TypeScript 当微软的开发者以及微软外部的开发者开发大规模的Web应用程序的时候，他们开始意识到JavaScript编写的程序变得越来越复杂并且难以维护，需要额外编写更多的工具来开发和维护JavaScript[4]。在这样的背景下，TypeScript诞生了。TypeScript是由微软开发和维护的一个免费开源的编程语言，官方网址：http://www.TypeS/。它是JavaScript的超集，并且在语言中引入了类型（可选）、基于类机制的面向对象，TypeScript之父Anders Hejlsberg是当年C#的首席架构师和Delphi/Turbo Pascal之父。 TypeScript是为开发大规模的Web应用程序而开发，TypeScript在编译后生成的目标文件是JavaScript。因为TypeScript是JavaScript的超集，所以任何JavaScript代码，都可以通过TypeScript的编译器的检测(需要对变量加类型声明)。TypeScript支持头文件的引用，类似于C++的头文件，这样就可以在引用的文件中使用被引用文件中的对象/类等信息，为了方便程序员使用第三方类库，TypeScript为知名第三方类库JQuery、MongoDB、Node.js、D3.js等提供了头文件。 2.2 Microsoft Azure Azure是微软的云平台，微软在此平台上zure可以提高工作效率，节省运营成本。传统的zure，企业可以从中解放出来把精力放到自己核心的业务上。Azure也Azure还在全球有多个数据中心，完全可以根据自己的需要选择合适的数据中心。3 日志采集系统的设计 3.1本 图Figure 1 System architecture diagram 3.2日志采集浏览器客户端架构设计 。 日志API 日志(TypeScript描述) export function enable(enabled: bool) ; 启用/禁用函数，比如在某些特定的场合，如压力测试，需要关闭日志防止数据污染；还有检测到网络环境很差或者用户不同意采集日志的时候，我们都需要关闭日志采集。 参数意义： Enabled， true表示启用，false表示禁用。 export function perfStart(performanceName: string, timeToken?: number): bool; 性能记录开始函数，需要和perfEnd函数配对使用，表示一个性能点的开始，记录一个单位为纳秒的时间戳。 参数