《人工智能应用素养》_12.3Python数据预处理.pptxVIP

01目录CONTENTSKDD99数据集评价02字符型转换为数值型03数值标准化

KDD99数据集评价

入侵检测的方法从根本上讲就是设计一个分类器，能将数据流中的正常与异常数据区分出来，从而实现对攻击行为的报警。本文采用的KDD99数据集经常为入侵检测系统提供统一的性能评价基准，常用来在学术圈检验入侵检测算法的好坏。

KDD99数据集每个连接有41个特征，对于一个分类器来说，要从这么多特征中提取规则是费时且不精确的，这体现在一些无关或冗余的特征往往会降低分类器模型的检测精度和速度。而且对于从原始的tcpdump数据中提取特征这一过程，也将是困难和费时的，这对于在线入侵检测系统是致命的。因此去除冗余特征或不重要特征，对于提高分类器训练速度和检测精度来说，是必要的。对于不同的分类器来说，最优的特征子集可以是不同的。本例子为了简便，选择了所有特征

字符型转换为数值型

KDDCUP99数据集字符串数据编码有一些特征或标签不是用数值表示的，而我们的DT、RF等算法只能处理数值型数据，不能处理字母、文字等，因此需要将字符型数据统一编码为数值型数据。目前有2种主流的方法，标签编码(LabelEncoder)，是独热编码(OneHotEncoder)。独热编码它先对该列字符串进行分类，把原有的一列拆成n列（n是分类的个数），如果字符串所在的那一列在这一类上面则这一列为1，其余列为0。

代码见文件

数值标准化

数值标准化数据标准化是机器学习、数据挖掘中常用的一种方法。数据标准化主要是应对特征向量中数据很分散的情况，防止小数据被大数据（绝对值）吞并的情况。另外，数据标准化也有加速训练，防止梯度爆炸的作用。

在聚类\分类算法中，使用计算距离的方法对数据进行聚类\分类，而连接记录的固定特征属性中有两种类型的数值——离散型和连续型。对于连续型特征属性，各属性的度量方法不一样。一般而言，所用的度量单位越小，变量可能的值域就越大，这样对聚类结果的影响也越大，即在计算数据间距离时对聚类的影响越大，甚至会出现“大数”吃“小数”的现象。

?

代码见文件

感谢您的观看！以上是

本节全部内容