SCALA与SPARK编程基础课程内容spark介绍scala基础语法.ppt

Scala基础 集合 集合类库： scala.collection scala.collection.immutable scala.collection.mutable scala.collection scala.collection.immutable scala.collection.mutable Tuple val t1 = (a,b,c) var t2 = (a, 123, 3.14, new java.util.Date()) val (a,b,c) = (2,4,6) 1-hello world (1, hello world) t1._1 t2._2 集合操作： map filter/filterNot partition/splitAt/groupBy foreach exists find sorted/sortWith/sortBy distinct flatMap indices/zipWithIndex/slice take/drop count updated/patch contains/startsWith/endWith intersect/diff/union Scala 基础 函数式编程 In computer science, functional programming is a programming paradigm that treats computation as the evaluation of mathematical functions and avoids state and mutable data. 一种“编程范式”，将计算机运算看做是数学函数的计算，避免状态以及变量的概念。 特征： 函数是“第一等公民” 无“副作用” 引用透明 尾递归优化 函数是“第一等公民” 可以传递、赋值 嵌套函数和匿名函数 高阶函数、闭包 局部函数 柯里化 无“副作用” def expr(x:Int, n:Int):Int = { var result = 1 for(i - 0 until n){ result = result*x } result } def expr(x:Int,n:Int):Int={ if(n==0) 1 else x*expr(x,n-1) } 引用透明 如果程序中两个相同值得表达式能在该程序的任何地方互相替换，而不影响程序的动作，那么该程序就具有引用透明性。纯函数式语言没有变量，所以它们都具有引用透明性。 尾递归调用 尾递归不保持当前递归函数的状态，而把需要保持的东西全部用参数给传到下一个函数里，这样就可以自动清空本次调用的栈空间。 //递归 def fib(n:Int):Int = n match{ case 0 = 1 case 1 = 1 case _ =fib(n-1) + fib(n-2) } //尾递归 def fib2(a:Int,b:Int,n:Int):Int = n match{ case 0 = b case _ =fib2(b,a+b,n-1) Reference 《Programming in scala》 Author: Martin Odersky, Lex Spoon, Bill Venners Publisher: Artima Inc. 《快学 scala》(Scala for the impatient) Author: Cay S. Horstmann Publisher: 电子工业出版社 Scaladoc /api Spark基础 Spark基础 Install manual build pre-built distribution Run Requirements：jdk，scala spark-shell spark-submit Spark基础 cluster deploying Spark基础 RDD A list of partitions A function for computing each split A list of dependencies on other RDDs Optionally, a Partitioner for key-value RDDs Optionally, a list of preferred locations to compute each split on 《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》 Spark 基础