SparkMLlib算法调用展示平台及其实现过程2.doc

Spark MLlib算法调用展示平台及其实现过程 1. 软件版本： IDE：Intellij IDEA 14，Java：1.7，Scala：2.10.6；Tomcat：7，CDH：5.8.0； Spark：1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0 ； Hadoop：hadoop2.6.0-cdh5.8.0；(使用的是CDH提供的虚拟机) 2. 工程下载及部署： Scala封装Spark算法工程：/fansy1990/Spark_MLlib_Algorithm_1.6.0.git ； 调用Spark算法工程：/fansy1990/Spark_MLlib_1.6.0_.git ； 部署（主要针对Spark_MLlib_1.6.0工程）： 1）配置好perties中相应用户名密码／数据库等参数； 2）第一次启动tomcat，修改hibernate.cfg.xml文件中的hibernate.hbm2ddl.auto值为create，第二次启动修改为update； 3) 打开集群参数页面，点击初始化，初始化集群参数，如果集群参数和当前集群不匹配，那么需要做相应修改； 暂时考虑使用配置文件的方式来配置集群参数，如果要调整为数据库配置，那么修改Utisl.dbOrFile参数即可；即，暂时只需修改perties文件； 4）拷贝Spark_MLlib_Algo