Hibench大数据安装测试手册.PDFVIP

Hibench 大数据安装测试手册 Hibench 作为一个测试hadoop 的基准测试框架，提供了对于hive：（aggregation，scan， jo in），排序 （sort，TeraSort ），大数据基本算法 （wordcount ，pagerank，nutchindex ）， 机器学习算法 （kmeans，bayes ），集群调度 （sleep），吞吐（dfsio），以及新加入 5.0 版 本的流测试，是一个测试大数据平台非常好用的工具 它支持的框架有：hadoopbench、sparkbench、stormbench、flinkbench、gearpumpbench 。 HiBench 是一套基准测试套件，用于帮助我们评估不同的大数据框架性能指标 （包括处理速度、 吞吐等）的负载指标，可以评估 Hadoop、Spark 和流式负载等， 其中Hadoop bench 具体的工作负载有：  Sort  WordCount  TeraSort  Sleep  SQL  PageRank  Nutch indexing  Bayes  Kmeans  NWeight  enhanced DFSIO  等等 工作负载 对这些工作负载进行分类记录如下，总体可以分为6 大类：micro、ml （machine learning ）、 sql、graph、websearch 和 streaming 。 Micro 基准 • Sort 使用RandomTextWriter 生成测试数据，Sort 工作负载对它的文本输入数据进行排序来进行 基准测试 • WordCount 使用RandomTextWriter 生成测试数据，WordCount 工作负载对输入数据中每个单词的出现 情况进行统计 • TeraSort 是由 Jim Gray 创建的标准基准。其输入数据由 Hadoop TeraGen 示例程序生成。 • Sleep 使每个任务休眠一定的时间来测试调度框架 • enhanced DFSIO (dfsioe) 增强的 DFSIO 通过生成大量执行写入和读取的任务来测试 Hadoop 集群的 HDFS 吞吐量。 它测量每个map 任务的平均 I/O 速率、每个map 任务的平均吞吐量以及 HDFS 集群的聚合 吞吐量。 注:这个工作负载不支持 Spark。 Machine Learning 基准 • 贝叶斯分类 (Bayes) 朴素贝叶斯是一种简单的多类分类算法，具有独立于每一对特征的假设。这个工作负载是在 spark.mllib 中实现并使用自动生成的文档，这些文档的单词遵循 zipfian 分布。关键字用于 文本生成/usr/share/dict/linux.words.ords 也从默认的 linux 文件。 • k-means 聚类(Kmeans) 这个工作负载测试是在spark.mllib 中实现的K-means(一种著名的知识发现和数据挖掘的聚 类算法)。输入数据集是由基于均匀分布和 Guassian 分布的 GenKMeansDataset 生成的。 • 逻辑回归(LR) 逻辑回归(Logistic Regression, LR)是预测分类响应的常用方法。这个工作负载是在 spark.mllib 中实现， LBFGS 优化器和输入数据集是 LogisticRegressionDataGenerator 基 于随机生成决策树的平衡。它包含三种不同类型的数据类型，包括分类数据、连续数据和二进 制数据。 • 交替最小二乘(ALS) 交互最小二乘法(ALS)算法是一种著名的协同过滤算法。这个工作负载是在 spark.mllib 中实 现和输入数据集是由 RatingDataGenerator 为产品推荐系统生成的。 • 梯度增加树(GBT) 梯度增强树(GBT)是一种使用决策树组合的流行的回归方法。这个工作负载是在 spark.mllib 中实现， GradientBoostingTreeDataGenerator 生成的输入数据集。 • 线性回归(线性) 线性回归(线性回归)是一个在 spark.mllib 中实现的工作负载。ml