自然语言处理与语音识别手册.docxVIP

自然语言处理与语音识别手册

第1章自然语言处理基础架构与核心概念

1.1机器学习与传统统计方法对比

在统计学传统框架下，我们主要依赖参数估计和假设检验，例如通过最大似然估计（MLE）计算单个样本的概率分布，其核心假设是数据服从特定的概率密度函数（PDF），且样本相互独立同分布，无法直接利用样本间的共现关系来推断未知参数。相比之下，机器学习通过构建预测模型直接映射输入到输出，其训练过程不依赖严格的概率分布假设，而是通过迭代优化损失函数来最小化预测误差，能够处理大规模非平稳数据流，并通过归纳偏置（InductiveBias）自动学习数据中的潜在结构。

例如，在处理文本分类任务时，传统统计方法如朴素贝叶斯模型假设词之间相互独立，忽略了词序和词汇共现带来的语义关联，导致在长尾分布数据上表现不佳；而机器学习方法如支持向量机（SVM）或随机森林，通过非线性决策边界自动捕捉这些复杂关联，从而显著提升分类准确率。在异常检测领域，传统统计方法通常设定固定的阈值来判定离群点，对多模态异常难以区分，且难以处理动态变化的数据分布；机器学习通过聚类算法（如K-Means）或孤立森林，能够发现数据中的离群簇并解释其成因，适应数据分布的动态演变。传统统计方法难以处理缺失值，往往采用简单的均值填充或删除，丢失了大量信息；机器学习则利用插值法、模型预测或基于内容的填充策略，在保持语义连贯性的前