《Hadoop大数据平台构建和应用》PPT 项目1 认识大数据，实现学情分析系统设计与环境搭建.pptx

Hadoop大数据 平台构建与应用;;任务1.1 设计学情分析系统;项目描述 大数据正在实现人类工作、生活与思维的大变革，其“威力”也强烈地冲击着整个教育系统，正在成为推动教育系统创新与变革的颠覆性力量。 目前大数据在教育领域的应用还存在诸多挑战，诸多因素制约了大数据在教育领域的应用，通过收集学生就业趋向、学习兴趣、专业技能、岗位需求的数据，结合“因材施教”教育理论，帮助学生认识自己，结合学生实际，为其推荐学习资源、就业信息等,如图1-1所示。 图1-1 就业关系影响图 ;任务1.1 ;大数据背景知识;( 1 )理论层面认知大数据;大数据的现在和未来;大数据带来的隐私问题 如何有效保护大数据背景下隐私权的建议：;（2）技术层面认知大数据;（3）实践层面认知大数据;图1-4 IBM大数据平台和应用程序框架;2.大数据处理流程;3. 大数据分析工具;（3）Apache Storm （4）Apache Drill ;（5）RapidMiner 其功能和特点在于： 1.免费提供数据挖掘技术和库， 100%用Java代码（可运行在操作系统）、 Java API（应用编程接口） ，数据挖掘过程简单，强大和直观。 2.内部XML保证了标准化的格式来表示交换数据的挖掘过程。 3.可以用简单脚本语言自动进行大规模进程，命令行（批处理模式）自动大规 模应用。 4.多层次的数据视图，确保有效和透明的数据。 5.图形用户界面的互动原型，强大的可视化引擎，许多尖端的高维数据的可 视化建模。 6.简单的插件和推广机制。 7.400多个数据挖掘运营商的支持。 （6）Pentaho BI ; 图1-11 学情分析系统的目标实现图 ;任务实施;3. 系统整体架构;任务;知识准备;具体步骤如下： （1）安装配置JDK 1.单击JDK安装程序，安装向导界面，如图1-13所示。; 2. 设置安装路径，如图1-14所示。单击“更改”按钮，可以修改安装路径。完成后单击“下一步”按钮。; 3.安装JRE。 在安装完JDK后，会弹出安装JRE窗口的界面（在这里要注意修改安装路径必须和JDK在同一目录下，而不是安装在JDK目录下），如图1-15所示。; 4.验证安装是否成功。 安装完成后需要验证Java环境是否安装成功。验证方式有多种，可以编写一个最简单的Java程序文件后???译执行它，也可以通过显示Java版本的命令方式进行验证。本书采用通过输入java –version命令，验证安装是否成功。读者也可以通过这个命令检查本机所安装的Java环境的版本。具体命令如图1-16所示。; （2）安装Tomcat。 1.从Apache网站（/）下载Tomcat，本书采用Tomcat 7.0版本开发。 2.将下载好的Tomcat压缩包解压至本地磁盘，如图1-17所示。; 运行测试Tomcat。 1.在Tomcat文件夹下进入bin子文件夹，双击startup.bat文件，启动Tomcat服务器，如图1-18所示。; 2.在浏览器的地址栏内输入http://localhost:8080，如果Tomcat服务器部署成功，则显示如图1-19所示的界面。 3.测试成功以后，关闭Tomcat。;（3）安装配置Eclipse 下载安装Eclipse 。 将下载好的Eclipse压缩包解压至电脑的本地磁盘，解压好的文件如图1-20所示。;运行配置Eclipse 1.双击eclipse.exe文件启动Eclipse，单击“Browse”按钮，在弹出的对话框中选择工作目录，注意该目录不要有中文字符，完成后单击“OK”按钮，如图1-21所示。; 2.配置Eclipse的JDK环境。 在主菜单栏中选择“Window→Preferences→Java→Installed JREs”命令，打开Preferences窗口，如图1-22所示。;运行配置Eclipse 单击“Add…”按钮，在弹出的窗口中选中Standard VM选项。然后在跳转的窗口中配置JRE home为JDK的安装主目录，“JRE name”文本框中输入“jdk1.7.0_55”，设置Java虚拟机大小Default VM arguments为-Xms2048m -Xmx4096m，最后单击“Finish”按钮，如图1-23所示。; 这时就可以看到已经添加了JDK，勾选该JDK复选按钮，完成后单击“OK”按钮。如图1-24所示。; 3.配置Eclipse的Web服务器。 在主菜单栏中选择“Window→Preferences→Server→Runtime Environments”命令，如图1-25所示。; 单击“Add…”按钮，添加Tomcat服务器。在弹出的窗口中选中“Apache→Apache Tomcat v7.0”，单击“N