项目1 认识大数据 实现学情分析系统设计与环境搭建.pptx

Hadoop大数据平台构建与应用项目1 认识大数据，实现学情分析系统设计与环境搭建A任务1.1 设计学情分析系统B任务1.2 构建学情分析系统开发环境。项目描述项目描述大数据正在实现人类工作、生活与思维的大变革，其“威力”也强烈地冲击着整个教育系统，正在成为推动教育系统创新与变革的颠覆性力量。目前大数据在教育领域的应用还存在诸多挑战，诸多因素制约了大数据在教育领域的应用，通过收集学生就业趋向、学习兴趣、专业技能、岗位需求的数据，结合“因材施教”教育理论，帮助学生认识自己，结合学生实际，为其推荐学习资源、就业信息等,如图1-1所示。图1-1 就业关系影响图任务1.1 设计学情分析系统任务描述1. 借助学习论坛、网络视频等网络资源和各种图书资源，学习大数据导论等相关知识内容。2. 明确学情分析系统的设计目标和实现途径。3. 完成学情分析系统的设计。任务目标1. 熟悉大数据的概念和特征。2. 熟悉大数据处理与分析流程和工具使用。3. 熟悉学情分析系统的架构设计方法。大数据背景知识理论理论是认知的必经途径，也是被广泛认同和传播的基线。12技术技术是大数据价值体现的手段和前进的基石。3实践实践是大数据的最终价值体现。( 1 )理论层面认知大数据大数据的特征定义数据类型繁多（Variety）数据体量巨大（Volume）处理速度快（Velocity）价值密度低，商业价值高（Value）大数据的现在和未来从大数据的价值链条来分析，存在3种模式： 手握大数据，但是没有利用好。 没有数据，但是知道如何帮助有数据的人利用它。 既有数据，又有大数据思维。未来在大数据领域最具有价值的是2种事物：拥有大数据思维的人，可以将大数据的潜在价值转化为实际利益。还未有被大数据触及过的业务领域。大数据带来的隐私问题如何有效保护大数据背景下隐私权的建议：减少信息的数字化01建立隐私权立法。02 增强数字隐私权基础设施03改变人类认知（接受忽略过去）04创造良性的信息生态。0506完全语境化（2）技术层面认知大数据 云计算和大数据之间的关系如图所示。云技术分布式处理技术存储技术感知技术（3）实践层面认知大数据互联网的大数据互联网中大数据的典型代表包括：● 用户行为数据。● 用户消费数据。● 用户地理位置数据。● 互联网金融数据。● 用户社交数据。图1-5 惠普的HAVEn大数据平台 政府的大数据企业的大数据如图1-5所示。个人的大数据哪些传统企业最需要大数据服务呢？● 对大量消费者提供产品或服务的企业（精准营销）。● 做小而美模式的中长尾企业（服务转型）。● 面临互联网压力之下必须转型的传统企业（生死存亡）。“数据供应链”。这里尤其有两个明显的现象：● 外部数据的重要性日益超过内部数据。在互联互通的网络时代，单一企业的内部数据与整个互联网数据比较起来只是沧海一粟。● 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。图1-4 IBM大数据平台和应用程序框架2.大数据处理流程（1）采集（2）导入和预处理（3）统计与分析（4）挖掘3. 大数据分析工具它主要有以下几个优点：1.高可靠性2.高扩展性3.高效性4.高容错性5.平台与语言的选择灵活图1-6 Hadoop开源项目（2）Apache Spark性能特点如下：高性能,易用性,通用性Spark组成如下：Spark Core,Spark SQL,Spark Streaming,MLlib,GraphX图1-7 Apache Spark 开源项目（1）Apache Hadoop（3）Apache Storm（4）Apache Drill图1-8 Apache Storm开源项目图1-9 Apache Drill 开源项目（5）RapidMiner其功能和特点在于：1.免费提供数据挖掘技术和库， 100%用Java代码（可运行在操作系统）、Java API（应用编程接口） ，数据挖掘过程简单，强大和直观。2.内部XML保证了标准化的格式来表示交换数据的挖掘过程。3.可以用简单脚本语言自动进行大规模进程，命令行（批处理模式）自动大规模应用。4.多层次的数据视图，确保有效和透明的数据。5.图形用户界面的互动原型，强大的可视化引擎，许多尖端的高维数据的可视化建模。6.简单的插件和推广机制。7.400多个数据挖掘运营商的支持。（6）Pentaho BI图1-10 Pentaho BI功能图任务实施图1-11 学情分析系统的目标实现图1. 案例构思任务实施BCA01 构建大数据平台 数据分析0502 采集岗位信息06数据可视化D03数据存储04数据处理实现07学情分析系统工程运行思路EGF3. 系统整体架构学情分析系统架构图如图1-12所示.图1-12 学情分析系统架构图任务1.2构建学情分