《大数据的Python基础》课件_第15章 大数据处理.pptx

第15章大数据处理

学习目标掌握函数式编程的思想与用法了解Hadoop的MapReduce大数据处理模型22025/3/6

本章简介 大数据技术着眼于解决多源、海量数据的处理、分析和查询等操作，可用于用户偏好、商情分析，为商业决策和优化提供支持。 大数据具有数据量大、数据类型多、价值密度低和要求处理效率高等特点，进行商业大数据的处理时，往往需要借助于Hadoop、Spark、Storm等一些集群计算平台，利用多硬件设备的并行处理实现对海量数据的处理。32025/3/6

15.1函数式编程函数式编程思想高阶函数返回函数装饰器偏函数42025/3/6

15.1.1函数式编程思想函数如果把程序的处理任务进行拆分，将负责相似逻辑的代码组合在一起形成一个有意义的组合体，这样就构成一个基本的代码单元——函数（Function）。函数式编程有以下特点：52025/3/6(1)无状态性，不需要函数维护任何状态信息；对于递归一类的函数，事实是通过参数的调整来达到状态的保存，而不是函数本身实现的状态保存。(2)确定性，如果输入的数据相同，那么函数总是返回同样的结果。(3)无副作用，调用函数只会计算出结果，不会出现其它效果，这样的函数又称纯函数；反之，如果调用函数改变了函数以外的全局变量，就相当于产生了副作用，因此就不是纯函数。

15.1.2高阶函数高阶函数函数式编程的使用过程中允许将变量指向函数，也允许以变量的方式使用函数，从而形成一种高阶的函数（Higher-OrderFunction）。简言之，能接收函数作为参数的函数就称为高阶函数。62025/3/6abs(-5)5abs #abs指向了内置的绝对值函数built-infunctionabsx=abs x #x指向了内置的绝对值函数built-infunctionabsx(-5)5

15.1.2高阶函数 事实上，函数名本身也是一个变量，其特征就是指向了函数的一种变量，与在程序中自行设定的指向函数的变量并无两样。72025/3/6abs=9abs(-5) #由于abs已经赋值为9，不再指向真正的绝对值函数Traceback(mostrecentcalllast):Filepyshell#8,line1,inmoduleabs(-5)TypeError:intobjectisnotcallablex(-5) #x仍然指向了绝对值函数5

【例15-1】利用高阶函数构成的加法运算importmathdefadd(x,y,f): returnf(x)+f(y)if__name__==__main__: print(add(-5,6,abs)) print(add(9,16,math.sqrt))82025/3/6程序的输出结果为：117.0

15.1函数式编程Python内置的map()和reduce()函数是典型的高阶函数。fromcollectionsimportIterable,Iterator,Generatorx=map(str,(1,2,3,4,5)) #将元组元素运用str()函数转换为字符串xmapobjectat0x0000016E2FB57780isinstance(x,Iterable) #map结果为可迭代对象Trueisinstance(x,Iterator) #map结果为迭代器Trueisinstance(x,Generator) #map结果不是生成器FalsewhileTrue: #持续调用next()函数获得StopIteration异常 print(next(x),end=)12345Traceback(mostrecentcalllast):Filepyshell#35,line2,inmoduleprint(next(x),end=)StopIteration92025/3/6

15.1函数式编程map()函数输入参数的可迭代对象个数与函数参数个数相同。 defadd(x,y,z): returnx+y+z p=map(add,[1,2,3],(4,5,6),[7,8,9]) list(p) [12,15,18] reduce()的作用为归并，负责将可迭代对象一个接一个归并在一起： reduce(f,[a1,a2,a3,......,an])=f(f(f(x1,x2),x3),......,an)102025/3/6

15.1函数式编程 归并操作red