《机器学习技术应用》课件——pro2_2_3 模型的持久化与部署.pptxVIP

授课教师：项目二经典案例：鸢尾花的分类

背景描述：基于著名的鸢尾花数据集，由RonaldFisher在1936年发表每个样本：4个特征：花萼长度（sepallength）花萼宽度（sepalwidth）花瓣长度（petallength）花瓣宽度（petalwidth）1个目标变量（鸢尾花的品种）：山鸢尾（IrisSetosa）变色鸢尾（IrisVersicolour）维吉尼亚鸢尾（IrisVirginica）

项目目标：熟练掌握scikit-learn中，基于分类任务模型的构建；熟练掌握scikit-learn中，基于分类任务模型的优化。

授课教师：任务二基于鸢尾花分类的SVM模型构建

模块3:模型的持久化与部署任务二SVM

情景引入你是谁：数据工程师或算法工程师你已经做了什么：在Python环境下用机器学习框架scikit-learn训练好了模型，准确度不错你将要做什么：如何让你训练好的模型，快速部署在甲方的环境中

技能点：模型的持久化模型持久化是指将训练好的模型保存到磁盘上，以便于后续的重新加载和使用。Scikit-learn利用Python的pickle模块来实现模型的序列化。序列化：将对象转换为字节流的过程，这样可以将其存储在文件中或通过网络传输。反序列化：将字节流转换回原始对象的过程。重要性：序列化工具：Joblib和Pickle

知识点：序列化数据持久化：通过序列化，程序可以将运行时的数据保存到磁盘上，以便在下次运行时恢复。这对于机器学习模型的保存尤为重要，能够避免重复训练，节省时间和计算资源。想象一下，如果每次使用模型时都需要重新训练，那将是多么耗时和低效的工作啊！通过序列化，我们可以将模型的状态保存到磁盘上，随时读取，避免重复劳动。数据传输：在分布式系统中，序列化使得数据能够在不同的计算节点之间传输。无论是通过网络发送数据，还是在不同的进程间共享数据，序列化都是必不可少的。比如，当我们需要将模型从一个服务器传输到另一个服务器时，序列化可以将模型转换为字节流，从而方便地进行网络传输。跨语言支持：序列化后的数据可以在不同的编程语言之间共享。例如，Python中的对象可以被序列化为JSON格式，然后在JavaScript中反序列化使用。这种灵活性使得系统的互操作性大大增强，开发者可以在不同的环境中轻松共享数据。版本控制：在机器学习的迭代过程中，模型会不断更新和优化。通过序列化，我们可以为每个版本的模型创建快照，方便进行版本管理和回溯。这样一来，我们就可以轻松地比较不同版本的模型，选择最佳的模型进行部署。（集成学习）

技能点：序列话工具：Joblib和PickleJoblibPickle序列化二进制字节流性能处理大型数据处理小型对象并行运算支持，可以将任务分发到多个进程中，进一步提升了处理速度。不支持压缩支持内置的压缩功能，存储大型数据集时更加灵活，能够有效减少磁盘空间的占用本身不支持压缩，但可以与其他压缩库（如gzip）结合使用数据安全性以二进制格式存储，虽然这在一定程度上提高了安全性，但并没有提供额外的安全机制。在安全性方面存在一定的风险，尤其是在反序列化时。应用场景机器学习和科学计算等领域一般目的的序列化任务，尤其是在处理小型对象时

技能点：Joblibimportjoblib#假设clf是你的训练好的模型clf=...clf.fit(...)#保存模型到磁盘joblib.dump(clf,model.pkl)#从磁盘加载模型loaded_clf=joblib.load(model.pkl)/view/132.html

技能点：Joblib--importjoblib#假设clf是你的训练好的模型clf=...clf.fit(...)#保存模型到磁盘joblib.dump(clf,model.pkl)#从磁盘加载模型loaded_clf=joblib.load(model.pkl)/view/132.html