数据相似度与异常检测教学教材.pptx

第4章 数据相似度与异常检测4.1 相似度度量4.2 传统度量方法4.3 大数据度量方法4.4 异常检测4.1相似度度量相似度的研究起源于心理学，是判断决策和解决问题的重要工具。相似度度量是衡量变量间相互关系强弱、联系紧密程度的重要手段，因此相似度度量经常被数据挖掘技术使用，如聚类、最近邻分类和异常检测等。4.1相似度度量对象与属性类型4.1.1对象与属性的定义及其之间的关系是相似度度量的基础知识。数据集由对象组成。一个对象代表一个实体，可以是物理对象（如教室），也可以是抽象对象（如写作风格）。通常，对象用属性描述（例如对象患者可以用他们的症状来描述）。对象又称样本、实例、数据对象或数据点。如对象存放在数据库中，数据库的行对应于对象，而列对应于属性。4.1相似度度量对象与属性类型4.1.1（1）属性（Attribute） 属性表示对象的一个特征，是一个数据字段。在文献中，属性、特征（Feature）、维（Dimension）和变量（Variable）可互换。 “特征”一般用在机器学习中。“维”则一般在数据仓库中使用。 而统计学家更倾向于使用“变量”。数据挖掘的专业人士一般使用术语“属性”。如，商品的属性包括商品ID号、商品名称、产地和价格等。 属性的类型由该属性可能具有的值的集合决定。定性地，属性可以是名词型的、二值的、顺序型的或数值型的。4.1相似度度量对象与属性类型4.1.1（2）名词型（Nominal）属性也称为标称属性、无序型属性或名义型属性，是与名称相关的属性。名词型属性的值是一些符号或事物的名称。每个值代表某种类别或状态，因此名词型属性又被视为是分类的（Categorical）。这些值不需要具备有意义的顺序。在计算机科学中，这些值也被视为是枚举的（Enumeration）。如肤色、职业属性。 4.1相似度度量对象与属性类型4.1.1 尽管名词型属性的值是名词符号，但可用数值来表示这些符号或名称。 如，对skin_color，可指定数值0表示白色，1表示黄色，2表示棕色，3表示黑色。如，商品ID号，可能值也可以是数值，但是对其进行数学运算没有意义，所以不需要定量地使用这些数值，也就是说名词型属性时，数学运算没有意义。 尽管一个名词型属性可以取整数值，但不能将其视为数值属性，因为，并不会定量地去使用这些整数。名词型属性不是定量的，不具备有意义的顺序。计算该属性的均值或中值是没有意义的。4.1相似度度量对象与属性类型4.1.1（3）二值（Binary）属性 一种名词型属性，但其只有两种类别或状态：0或1，其中0通常表示对象没有该属性，而1表示对象具备该属性。 二值属性，也称为二元属性，当其属性的两种状态为true和false时，又称为布尔（Bool）属性。 示例：对患者进行医学化验，具有两种可能结果，属性medical_test值为1时表示化验结果为阳性，0表示结果为阴性。4.1相似度度量对象与属性类型4.1.1当二值属性的两种状态具有同等价值并且带有同等的权重时，称作对称属性。当二值属性的状态结果不是同等重要，称属性是非对称的。通常用1来表示相对更重要些（通常是比较少见的）的结果（如，乙肝病毒阳性），而用0表示另一种结果（如，乙肝阴性）。4.1相似度度量对象与属性类型4.1.1（5）数值属性数值（Numeric）属性是定量的，用整数或实数值表示，是可度量的量。数值属性可以是区间型的或比率型的。区间型属性。区间型（Interval）属性是用相等的单位尺度来度量的。区间型属性的值可以为正值、负值和0，区间型属性的值是有顺序的。如温度。4.1相似度度量对象与属性类型4.1.1（6）比率型属性比率型（Ratio）属性不同于区间型属性，它是具有固有零点的数值属性。也就是说，可以说一个值是另一个值的倍数，即比率型属性的度量是比率标度的。此外，这些值是有顺序的，可计算其差值、均值等。比率型属性包括重量、高度、速度、长度、货币量、工作年限等。4.1相似度度量对象与属性类型4.1.1 在机器学习领域的分类算法通常把属性分成连续的或离散的。离散属性具有有限个或无限可数个值，可用或不用整数来表示。 如，属性skin_color、medical_test都有有限个值，是离散的。离散属性可以具有数值值，如年龄取值0到300，身高取值0cm到300cm等。如果属性可能的值集合是无限的，但是可与自然数一一对应，则称这个属性为无限可数（阿列夫零）的。如，邮政编码是无限可数的。 4.1相似度度量对象与属性类型4.1.1如果属性不是离散的，称之为连续的。通常，术语“数值属性”与“连续属性”通常可以互换使用。实际上，实数值一般用有限位数字表示，而连续属性一般用浮点数表示。4.1相似度度量相似度度量定义4.1.2 两个对象间的相似度是这两个对象相似程度的数