Spark1.1.0发布各个模块得到全面升级.PDF

Spark 1.1.0发布:各个模块得到全面升级 Spark大数据博客 - Spark 1.1.0发布:各个模块得到全面升级 如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop 今天我很激动地宣布Spark 1.1.0发布了，Spark 1.1.0引入了许多新特征（new features）包括了可扩展性和稳定性方面的提升。这篇文章主要是介绍了Spark 1.1.0主要的特性 ，下面的介绍主要是根据各个特征重要性的优先级进行说明的。在接下来的两个星期内，我们将 会发表文章分别详细地介绍这些新组件，Spark 1.1已经在Databricks Cloud可用，用户也可以在Apache Spark官方网站进行下载。 Spark SQL的成熟 Spark 1.1.0版本中对Spark 1.0中的Spark SQL进行了重大的更新。在Databricks公司，我们 已经将客户所有的workloads从Shark迁移到Spark SQL，全部有2X-5X的性能??升。 Spark 1.1 为Spark SQL添加了一个JDBC server，它是一个最要的特性，允许直接依赖JDBC对Shark安装版进 行更新。我们同时也开放了Spark SQL相应的系统API， 这允许大量的第三方数据源和Spark SQL进行集成。这将提供为以后的集成提供了扩展点，比如Datastax Cassandra driver. 利用这些类型API，我们已经提供了对直接读取JSON到Spark内置的ShemaRDD的支持。如下： # Create a JSON RDD in Python people = sqlContext.jsonFile(“s3n://path/to/files...”) # Visualize the inferred schema people.printSchema() # root # |-- age: IntegerType # |-- name: StringType MLlib的扩展 Spark’s machine learning library adds several new algorithms, including a library for standard exploratory statistics such as sampling, correlations, chi-squared tests, and randomized inputs. This allows data scientists to avoid exporting data to single-node systems (R, SciPy, etc) and instead directly operate on large scale datasets in Spark. Optimizations to 1 / 3 Spark 1.1.0发布:各个模块得到全面升级 Spark大数据博客 - internal primitives provide a 2-5X performance improvement in most MLlib algorithms out of the box. Decision trees, a popular algorithm, has been ported to Java and Python. Several other algorithms have also been added, including TF-IDF, SVD via Lanczos, and nonnegative matrix factorization. The next release of MLlib will introduce an enhanced API for end-to-end machine learning pipelines. Sources and Libraries for Spark Streaming Spark streaming exte