朴素贝叶斯判别与Logistic回归模型比较研究.pdfVIP

摘 要 判别分析是用于判别个体所属类别的一种统计分析方法，其在自然科学、 社会学及经济管理学等学科中都有着广泛的应用。多年来，通过统计学家以及 各个行业领域研究人员的共同努力和开拓，判别分析的内容日益丰富，方法也 越来越多，判别分析方法之间的比较研究一直以来也是一个颇受关注的话题。 但是，至今还难以评价哪一种判别方法最好。 经过分析总结发现，为了体现研究方法的创新性和先进性，许多研究人员 更加倾向于使用 Logistic 回归模型，而渐渐忽视了传统的判别分析方法，例如 贝叶斯判别方法。然而，应用 Logistic 回归模型做判别分析是否总能够得到较 好的判别效果？本文从理论和实证两个方面综合比较评价了两种判别分析方 法，希望能对判别分析方法的选择和应用提供些许建议。 本文在借鉴国内外专家学者分析研究经验的基础上，首先系统阐述介绍了 贝叶斯判别方法与 Logistic 回归模型的起源背景、判别理论、并从模型的适用 条件、模型性质、二者之间的关系等方面进行了较为深入的探讨对比，分别指 出了两个判别分析模型的特点。 为了更加深入、直观地比较贝叶斯判别方法与 Logistic 回归模型的运算效 率、判别效果，本文应用 UCI 标准测试数据集从实证分析的角度对两种判别分 析模型的判别效果进行了测试。基于六个 UCI 测试数据集的测试结果得到如下 四个结论：贝叶斯判别方法得出的误判概率比 Logistic 回归模型得到的波动范 围小；随着训练集样本量的增大，贝叶斯判别方法趋近于渐进误判概率的速度 要快于 Logistic 回归模型；在训练集样本量较小的情况下，贝叶斯判别分析的 表现要比 Logistic 回归模型的表现好，而当样本量比较大的时候，Logistic 回归 模型的表现要好于贝叶斯判别方法；Logistic 回归模型的运算效率高于贝叶斯判 别方法。 关键词：方法比较；朴素贝叶斯判别方法；Logistic 回归模型；UCI 数据集 1 Abstract Discrimination analysis is a statistical analysis method for classifying a set of observations into predefined classes, which has been widely used in many subjects such as Natural Science, Sociology and Management Economics. In the recent years, by the joint effort and deploitation of the statisticians and researchers in various industries, the content of the discrimination analysis is enriched day by day, and the methods are so as well. Meanwhile, theoretical and empirical comparisons between the naïve Bayes classifier and linear logistic regression is an everlasting topic. However, it is still hard to evaluate which is the best discrimination analysis method. In empirical studies, we could find that for the sake of innovation and progress of the research method, many researchers tends to use Logistic R