据十典算NVIEYE讲解_免费KY.pptVIP

Naive Bayes Team * 分类 数学定义： 已知集合C={y1,y2...yn}，I={x1,x2...xm}确定映射规则y=f(x),使得任意xi∈I有且仅有yj∈C一个使得yj=f(xi)成立。 其中C叫做类别集合，其中每一个元素是一个类别，而I叫做项集合，其中每一个元素是一个待分类项，f叫做分类器。 分类算法的任务就是构造分类器f。 * 分类步骤1—学习 训练数 据集 分类算法 IF rank = ‘professor’ OR years 6 THEN tenured = ‘yes’ 分类规则 通过对经验数据的学习从而实现一定概率意义上正确的分类 建立预先定义的数据类或概念集的分类器。 * 分类步骤2—用模型分类 使用模型对将来的或未知的对象进行分类 * 影响分类的因素 分类器构造方法 待分类数据的特性 训练样本数量 重点 通过训练数据集得到规则 * 贝叶斯分类基础-贝叶斯定理 给出了P(w|C)与P(C|w)的关系 P(C)：先验概率 P(C|w)：后验概率 P(w|C)/P(w)：调整因子,p(w)一般是一个 若P(w|C)/P(w)1，则先验概率被增强，事件C的发生的可能性变大； 若P(w|C)/P(w)=1，意味着w事件无助于判断事件C的可能性； 若P(w|C)/P(w)1，意味着先验概率被削弱，事件C的可能性变小 * 朴素贝叶斯 * 朴素贝叶斯定义 (1)设x={a1,a2,……,am}为一个待分类项，而每个a为x的一个特征属性。 (2)有类别集合C={y1,y2,……,yn} (3)计算 P(y1|x),P(y2|x),……,P(yn|x)（关键） (4)如果P(yk|x)=max{P(y1|x),P(y2|x),……,P(yn|x)}，则x∈yk * 各个条件的概率P(yi|x)计算 找到一个已知分类的待分类项集合，这个集合叫做训练样本集。 统计得到在各类别下各个特征属性的条件概率估计。即P(a1|y1),P(a2,y1),……,P(am,y1)；P(a1|y2),P(a2,y2),……,P(am,y2)；… P(a1|yn),P(a2,yn),……,P(am,yn)； 如果各个特征属性是条件独立的 * 工作流程 * 样例(一)—Buy computer age income student credit_rating buys_computer youth high no fair no youth high no excellent no middle_aged high no fair yes senior medium no fair yes senior low yes fair yes senior low yes excellent no middle_aged low yes excellent yes youth medium no fair no youth low yes fair yes senior medium yes fair yes youth medium yes excellent yes middle_aged medium no excellent yes middle_aged high yes fair yes senior medium no excellent no * 样例(一)—Buy computer X=(age=youth,income=medium,student=yes, Credit_rating=fair) 买电脑吗？ P(buy=yes)=9/14=0.643,P(buy=no)=0.357 P(age=youth|buy=yes)=2/9=0.222 P(X|buy=yes)=P(age=youth|buy=yes)*P(income=medium|buy=yes)*P(student=yes|buy=yes)*P(credit=fair|but=yes)=0.044 P(X|buy=no)=0.019 P(X|buy=yes)*P(buy=yes)=0.028 P(X|buy=no)*P(buy=no)=0.007 * 特征属性为连续值 当特征属性为连续值时，通常假定其值服从高斯分布 因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差 * 样例(二)—Male or Female 问题描述:通过一些测量的特征，包括身高、体重、脚的尺寸，判定一个人是男性还是女性。 训练数据 假设训练集样本的特征满足高斯分布 * 样例(二)—Male or Female 假定P(male)= P(female) =