大数据治理（高级） 课件 西财 实训项目2：电影数据预处理.pptx

1

实训2电影数据预处理2

知识点数据合并数据脱敏时间序列处理数据分组数据聚合3

实训目标掌握数据合并的方法；理解数据脱敏的方法；理解时间序列的表示与处理；掌握数据分组的方法；掌握数据聚合的方法；4

知识点数据合并数据脱敏时间序列处理数据分组数据聚合5

数据合并数据合并是指将多个数据表根据某种规则合并为一个数据表的过程。数据合并主键合并堆叠合并6

010203政府需求岷山集团需求同盟商家群众数据合并堆叠合并concat()函数可以沿着一条轴的方向将多个数据表对象进行堆叠。concat(objs,axis=0,join=‘outer’,join_axes=None,ignore_index=False,keys=None,levels=None,names=None,...)axis：表示连接的轴向，可以为0（默认）或1。join：表示连接的方式，inner表示内连接，outer（默认）表示外连接。names：结果分层索引中的层级的名称。7

010203政府需求岷山集团需求同盟商家df_obj1=pd.DataFrame({key:[a,b,c],A:[1,1,1],B:[2,2,2]})df_obj2=pd.DataFrame({key:[b,c,d],A:[1,1,1],B:[2,2,2]})数据合并堆叠合并85MIN

010203政府需求岷山集团需求群众pd.concat([df_obj1,df_obj2])pd.concat([df_obj1,df_obj2],axis=1)数据合并堆叠合并94MIN

010203政府需求岷山集团需求同盟商家群众数据合并主键合并主键合并是指根据一个或多个键将不同的DatFrame对象连接起来。pandas.merge(left,right,how=inner,on=None,left_on=None,right_on=None,left_index=False,right_index=False)left,right:待合并的左右两侧数据对象。how：表示连接方式，inner（默认）为内连接，outer为外连接。left为使用左侧对象的键，right为使用右侧对象的键。on:用于连接的列名。10

5MIN010203岷山集团需求群众pd.merge(df_obj1,df_obj2,how=inner)pd.merge(df_obj1,df_obj2,how=outer)数据合并主键合并pd.merge(df_obj1,df_obj2,how=left)pd.merge(df_obj1,df_obj2,how=right)11

知识点数据合并数据脱敏时间序列处理数据分组数据聚合12

数据脱敏数据脱敏是指根据数据的使用目的和使用环境制定一定的隐私保护规则，防止敏感数据在不可靠的环境下使用，防止因数据泄露造成不必要的损失。数据脱敏动态数据脱敏静态数据脱敏13

时间序列处理静态数据脱敏：14静态数据脱敏需要将生产环境的数据进行备份，通过特定的方法排查问题或进行数据分析，出于安全考虑需要把敏感数据从生产环境脱敏完毕之后再在非生产环境使用。

时间序列处理动态数据脱敏：15动态数据脱敏一般直接用在生产环境，访问敏感数据时实时进行脱敏，因为有时在不同情况下对于同一敏感数据的读取，需要做不同级别的脱敏处理。并且脱敏前后的数据须保持一致性和有效性。

数据脱敏数据脱敏的方式有很多种，在选用脱敏方法时我们需要考虑到数据使用者的使用目的和使用方式，同时也要注意保护数据发布者的隐私和权益不受侵害。数据脱敏无效化处理随机化处理加密处理16

知识点数据合并数据脱敏时间序列处理数据分组数据聚合17

时间序列处理时间序列是指多个时间点形成的数值序列，一般作为某指标或特征的参考系。Pandas提供了多个时间相关类表示时间序列。时间序列时间戳Timestamp日期时间datetime时间索引DatetimeIndex时间片段Period18

时间序列处理时间序列作用：19可以反映数据所描述对象的发展变化过程，描述现象的发展状态和结果。可以用于观测数据所描述对象的发展趋势和发展速度。可以探索数据所描述对象发展变化的规律，对某些现象进行预测。

时间序列处理pd.to_datetimepd.datetime(year=2021,month=8,day=1)pd.date_rangeperiods=1)pd.Period(2021/8/1)时间序列创建205MIN

时间序列处理importnumpyasnpimportpandasaspddate=pd.date_range20210102’)df_ob