复习：应用练习（一）教学课件.pptVIP

完整版教学课件 01-02 复习：应用练习（一） 薪资数据分析（巩固练习）：签到+练习+测验 陈清华 知识回顾 重点： 数据统计分析流程 一元线性回归 多项式回归 多元线性回归 难点：异常值 、归一化、数据集切分 思考： 模型评估：如何提高准确率？ 作业：实验报告（课后交） 在线测验题（课堂完成） 下次课准备（urllib2\BeautifulSoup） 知识回顾：数据统计分析流程 数据分析的两个层次： （1）用描述统计的方法计算出反映数据集中趋势、离散程度和相关强度的具有外在代表性的指标。（项目一） （2）在描述统计基础上，用推断统计的方法对数据进行处理，以样本信息推断总体情况，并分析和推测总体的特征和规律。（项目二） 数据统计：分组、聚合 film = film.groupby([‘film’], as_index= False)[‘BOR’].sum() print(film) 均值：df.groupby(key1).mean()； 求和：df.groupby(key1).sum()； 计数：df.groupby(key1).count() 第1行：数据统计，分组与聚合，对谁分组？对谁聚合？ salary.csv中存储了工龄与工资数据 任务：应用练习（Part1） 基本步骤： 数据读取 数据解析 数据分析 结果可视化 进阶练习 知识回顾：一元线性回归 from sklearn import linear_model x=df[放映天数] y=df[日均票房/万]regr = linear_model.LinearRegression() regr.fit(x, y) 第4行：建立线性回归方程 第5行：线性回归拟合（训练） 知识回顾：异常值 数据集中存在不合理的值，又称离群点、噪声，会引致预测结果不准确。 异常值的处理方法常用有四种： 1. 删除含有异常值的记录 2. 将异常值视为缺失值，交给缺失值处理方法来处理 3. 用平均值来修正 4. 不处理 知识回顾：归一化 from sklearn.preprocessing import minmax_scale   df[‘日均票房/万’] = minmax_scale(df[‘日均票房/万’])df[‘放映天数’] = minmax_scale(df[‘放映天数’]) print(df) 引入包：引入数据预处理模块的minmax_scale 调用接口：minmax_scale的输入与输出 在机器学习领域中，不同评价指标（即特征向量中的不同特征就是所述的不同评价指标）往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。 归一化 知识回顾：数据集的切分 训练集 验证集 测试集 from sklearn.model_selection import train_test_split   #拆分训练集和测试集x_train, x_test, y_train, y_test = train_test_split(df[[‘放映天数’]], df[[‘日均票房/万’]], train_size=0.8, test_size = 0.2) 引入包：引入模型选择模块的train_test_split 调用接口：指定训练集与测试集的大小，返回的测试集与训练集切分结果。 train_test_split(sample_data,sample_target,test_size=0.25,train_size=None,random_state=0,stratify=y_train) train_data：所要划分的样本特征集 train_target：所要划分的样本类别数据 test_size：测试样本占比，如果是整数的话就是样本的数量。默认是0.25 train_size：训练样本的占比，如果指定了test_size按照test_size比例来分配。 random_state：是随机数的种子。（重复试验的设置） stratify：为了保持split前类的分布，保证训练集和测试集内类的分布比例相同。 知识回顾：数据集的切分 plt.title(u预测值与实际值比较（一元线性回归）)plt.ylabel(u日均票房收入\万元)plt.plot(range(len(y_pred)),y_pred,red, linewidth=2.5,label=u预测值)plt.plot(range(len(y_test)),y_test,green,label=u测试值)plt.legend(loc=2)#显示