人工智能与大数据分析手册.docxVIP

与大数据分析手册

第1章基础理论

1.1机器学习核心概念

机器学习（MachineLearning,ML）是指通过算法让计算机从数据中自动学习规律，从而无需人工频繁干预即可解决特定问题的技术范式。其核心在于将“监督学习”与“无监督学习”等策略应用于海量数据的挖掘，使系统具备像人类专家一样从经验中“进化”的能力。在监督学习中，系统通过输入已知标记的数据（如图像、文本或数值）与对应的正确答案，训练模型内部参数以最小化预测误差。例如，在医疗诊断中，医生提供确诊标签，模型则学习如何仅凭影像数据准确判断病变类型。

无监督学习则侧重于发现数据内部未知的结构或模式，常见任务包括聚类分析、降维和异常检测。它不依赖预设的标签，而是利用样本间的相似性将数据划分为不同的簇或子群。模型评估是机器学习流程的关键环节，通常采用准确率（Accuracy）、精确率、召回率、F1分数等指标来量化模型性能。对于不平衡数据（如罕见病诊断），还需引入AUC-ROC曲线等专门指标以评估模型在不同阈值下的表现。泛化能力是指模型在未见过的新数据上的表现，是衡量机器学习模型是否真正“学会”而非仅“死记硬背”的关键指标。高泛化能力意味着模型能从训练集中学习到通用规律，而非仅仅拟合训练集数据点。

常见的机器学习算法包括决策树、随机森林、梯度提升树（XGBoost/LightGBM）以及神经网络。这些算法