机器学习系统设计面试知识点.docxVIP

机器学习系统设计面试知识点

一、基本概念

机器学习系统设计：设计能够处理大规模数据、在线学习、分布式训练和推理的机器学习系统。

评估指标：

准确率（Accuracy）

精确率（Precision）

召回率（Recall）

F1分数（F1-Score）

AUC（AreaUndertheCurve）

均方误差（MSE）

过拟合（Overfitting）：模型在训练数据上表现很好，但在测试数据上表现差。

欠拟合（Underfitting）：模型在训练数据上也表现差。

正则化（Regularization）：通过添加惩罚项防止过拟合，例如L1、L2正则化。

交叉验证（Cross-Validation）：使用多个训练/验证集对模型进行评估，以避免过拟合。

批量处理、在线学习和增量学习：

批量处理：使用整个数据集进行训练。

在线学习：每次使用一个小批量数据进行训练。

增量学习：在现有模型的基础上进行微调。

二、系统组件

数据采集与存储

数据源：API、数据库、文件系统等。

数据缓存：Redis、Memcached等。

数据处理与特征工程

数据清洗：去除缺失值、异常值等。

数据转换：归一化、标准化等。

特征提取：从原始数据中提取有用的特征。

特征选择：从特征中选择最重要的特征。

模型训练

训练框架：TensorFlow、PyTorch、Scikit-learn等。

模型选择：线性回归、逻辑