数据师知识分类答案.pptx

数据分析师知识分类总结 C1 统计基本概念篇 1. 异常值指什么？请列举1种识别连续型变量异常值的方法？ 1）异常值outlier:一组观测值中与平均值的偏差超过两倍标准差的测定值 高度异常的异常值：与平均值的偏差超过三倍标准差的测定值 2）判断异常值的规则： 标准差已知：奈尔（Nair）检验法 标准差未知：t检验法，格拉布斯(Grubbs)检验法，风度检验法，狄克逊(Dixon)检验法，偏度检验法 3）盒形图 用的比较多 箱线图 箱线图（或称箱形图）能在同一张图上体现多个距和四分位数，“箱”显示出四分位数和四分位距的位置，“线”则显示出上、下界 2. 数据标准化技术 （1）总和标准化。分别求出各要素所对应的数据的总和，以各要素的数据除以该要素的数据的总和，即 （2） 2.数据标准化技术 3.缺失值处理方法 1)直接丢弃含缺失数据的记录 如：个案剔除法，这种方法却有很大的局限性。它是以减少样本量来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。当缺失数据所占比例较大，特别是当缺数据非随机分布时，这种方法可能导致数据发生偏离，从而得出错误的结论。 2)补缺 A. 用平均值来代替所有缺失数据：均值替换法 B. K -最近距离邻居法：先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。 C.用预测模型来预测每一个缺失数据：该方法最大限度地利用已知的相关数据，是比较流行的缺失数据处理技术。如：回归替换法 弊端： A 容易忽视随机误差 B 研究者必须假设存在缺失值所在的变量与其他变量存在线性关系 4.常用的抽样方法有哪些 1. 简单抽样 即简单随机抽样，指保证大小为n的每个可能的样本都有相同的被抽中的概率。 2. 系统抽样 将总体中的各单元先按一定顺序排列，并编号，然后按照不一定的规则抽样。其中最常采用的是等距离抽样，即根据总体单位数和样本单位计算出抽样距离（即相同的间隔），然后按相同的距离或间隔抽选样本单位。例如：从1000个电话号码中抽取10个访问号码，间距为100，确定起点（起点＜间距）后每100号码抽一访问号码。 3. 分层抽样 是把调查总体分为同质的、互不交叉的层（或类型），然后在各层（或类型）中独立抽取样本 4.整群抽样（Cluster sampling）（层层深入抽样，不断缩小抽样的范围） 5.统计学基础 1）随机变量均值，方差，标准差 2）方差：用来表示分布的散步大小 3）标准差：用σ表示，表示分布散步大小 6.常用分布 1）离散变量二项分布 记为b(n,p) 均值：E(x)=np 方差：Var(x)=np(1-p) 标准差： 2）离散变量泊松分布 3）连续型随机变量正态分布 7.统计定理 8 假设检验 C2 机器学习的数学基础 范数： 向量的范数可以简单形象的理解为向量的长度，或者向量到坐标系原点的距离，或者相应空间内的两个点之间的距离。 向量的范数定义：向量范数可简单理解为向量的长度，或者向量到坐标系原点的距离，或者相应空间内的两个点之间的距离 向量范数性质：向量范数是一个函数||x|| 满足非负性||x|| = 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| = ||x|| + ||y|| L1 范数: ||x||为 x 向量各个元素绝对值之和。 L2 范数: ||x||为 x 向量各个元素平方和的开方，L2 范数又称 Euclidean 范数或 者 Frobenius 范数 Lp 范数: ||x||为 x 向量各个元素绝对值 p 次方和的 1/p 次方 L∞范数: ||x||为 x 向量各个元素绝对值最大那个元素，如下： 各类距离意义与Python实现 闵可夫斯基距离(Minkowski Distance) 闵式距离 两个 n 维变量 A(x11 ,x12 ,…,x1n )与 B(x21 ,x22 ,…,x2n )间的闵可夫斯基距离定义为： 欧式距离 from numpy import * vector1 = mat([1,2,3]) vector2 = mat([4,5,6]) print sqrt((vector1-vector2)*((vector1-vector2).T)) 曼哈顿距离 二维平面两点 N维向量 from numpy import * vector1 = mat([1,2,3]) vector2 = mat([4,5,6]) print sum(abs(vector1-vector2)) 切比雪夫距离(