大数据技术基础第十章：Spark SQL编程.pdfVIP

第10章SSppaarrkkSSQQLL编编程程 • 主主要要内内容容：： • 10.1SparkSQL概述 • 10.2DataFrame • 10.3数据 • 10.4SparkStreaming与SparkSQL综合案 例 1100..11SSppaarrkk SSQQLL概概述述 • SSppaarrkk SSQQLL是是支支持持结结构构化化数数据据处处理理的的SSppaarrkk模模块块。。SSppaarrkk SSQQLL通通过过几几种种 式式进进行行交交互互：：SSQQLL、、DDaattaaFFrraammeessAAPPII、、 DDaattaasseettssAAPPII等等。。在在执执行行交交互互时时都都使使用用相相同同的的SSppaarrkk执执行行 引引擎擎，，与与使使用用的的语语言言无无关关。。这这种种统统一一意意味味着着开开发发人人员员可可以以 很很容容易易地地来来回回切切换换。。 • 11.. 查查询询优优化化器器CCaattaallyysstt • 22.. 程程序序入入口口 • SSppaarrkk 11..xx中中SSppaarrkk SSQQLL程程序序入入口口为为：：SSQQLLCCoonntt xxtt和和 HHiivv CCoonntt xxtt。。但但在在SSppaarrkk 22..00中中SSppaarrkkSS ssssiioonn替替代代了了 SSQQLLCCoonntt xxtt和和HHiivv CCoonntt xxtt。。尽尽管管如如此此，，SSppaarrkk是是向向低低 版版本本兼兼容容的的。。 • SSppaarrkk 22..00的的SSppaarrkk SSQQLL中中，，SSppaarrkkSSeessssiioonn，，位位于于包包 oorrgg..aappaacchhee..ssppaarrkk..ssqqll..SSppaarrkkSSeessssiioonn中中，，其其对对象象的的创创 如如下下：： • SSppaarrkkSSeessssiioonn ssppaarrkk == SSppaarrkkSSeessssiioonn..bbuuiillddeerr (())..aappppNNaammee((JJaavvaa SSppaarrkk SSQQLL EExxaammppllee))..ccoonnffiigg((ssppaarrkk..ssoommee..ccoonnffiigg..ooppttiioonn,, ssoommee--vvaalluuee))..ggeettOOrrCCrreeaattee(());; 类 作用 SparkSessio SparkSQL程序的入口 n DataSet SparkSQL最主要的类 Column 表示 系操作中一列 Row 表示 系操作中一行 Encoders 把Java对象类型转换到Spark SQL内部表示 DataFrame 从外部系统加载数据 Reader SparkSQL常见类 方法 描述 SparkContext spark 获得SparkContext对 Context() 象 DatasetRow sql(Str 使用Spark执行SQL ingsql ext) 查询返回DataFrame DataFrameReader 读取非流数据 read() DatasetRow create 将schema应用到 DataFrame(RDD? JavaBean的RDD rdd,Class? beanClass) DatasetRow Devel 从给定的schem