面向云计算的异常检测技术的研究与实现-计算机科学与技术专业毕业论文.docxVIP

上海交通大学硕士学位论文 上海交通大学硕士学位论文 万方数据 万方数据 面向云计算的异常检测技术的研究与实现 摘 要 云计算在可靠性问题上面临着巨大的挑战。随着越来越多的个人 和企业将信息放在云上，如何提高云计算的可靠性成为一个研究热点。 而云计算平台上丰富的信息和资源也是各种入侵者的热点目标。云计 算体系的每一层结构都面临着各种危险，可能是由用户的错误操作或 外部的恶意入侵造成的。与传统的计算环境相比，云计算具有虚拟化、 分布式、动态行为和非常大的数据规模等特点，这也导致了传统的异 常检测算法不适用于云计算环境。 本文基于局部异常因子（LOF）算法设计了自适应的在线实时异 常检测机制。LOF 算法根据局部密度为每个测试数据计算异常分数， 异常分数说明了该测试数据的异常程度。该异常检测机制工作于半监 督模式下，也适用于非监督模式，允许训练数据中存在少量异常。同 时，该机制可以自动根据最近的系统行为特征改变自身的正常行为模 型。这是一种数据驱动的、适用范围广、通用性好的在线实时异常检 测机制。 为了评估异常检测的效率，我们搭建了模拟云计算环境的平台， 在不同的虚拟机上运行几种常见背景应用，并注入几种典型异常来模 拟异常入侵。使用 sysstat 工具采集纯背景应用下的系统状态作为训练 数据建立正常行为的模型，在注入异常阶段，每分钟采集一次系统状 态，进行实时在线异常检测。该系统可以有效地检测出大部分异常类 型，在保证可接受的误报率的同时，可以达到很高的检测率。 关键词：云计算，异常检测，最近邻，LOF I THE RESEARCH AND IMPLEMENTATION OF THE ANOMALY DETECTION IN CLOUD ABSTRACT The advent of Cloud Computing poses great challenges to the availability of computing systems. But as ubiquitous information of individuals and companies are placed on the cloud, concerns are beginning to grow about how safe and available the cloud can be. Moreover, the application and information on the cloud services become more accessible. Because of their plenty information and resource, cloud computing environments are easy targets for intruders looking for possible vulnerabilities to exploit. Each layer of the architecture may suffer from certain vulnerabilities, introduced by different programming of configuration errors of the user or the provider. Compared with the traditional computing environment, cloud computing has characteristics of virtualization, distributed, dynamic system behaviors and very large scale which is an inevitably challenge to existing anomaly detection techniques. So it is worthy to find an appropriate and efficient technique to realize anomaly detection on the cloud platform. For the property of large data scale and high dimension in the cloud computing, we proposed an adaptive real-time anomaly detect scheme based on Local Outlier Factor (LOF) algorithm. And it needs to be pointed out here that it is a density-