大数据数据挖掘实验系统.pptVIP

大数据与数据挖掘实验糸统 北京红亚华宇科技有限公司  大数据的特点 大数据首先是数据量其次大数据的来源最后大数据的数据 大,典型的大数据系复杂,数据质量差关系复杂,难以用 统所管理的数据可达 异较大 传统的关系型数据 B级 库描述  大數据分析的基石 数据挖 并行化 掘算法 分析框 数据获取与 架廉价大数据 数据预处理 存储方案 数据统计等 可扩展的弹 基础分析算 性计算资源 法 调度 聚类分析等 非结构化数 高级分析算 据存储与加 法 工算法  大數据实验糸统所支據的学科与谍程 计算机、信 数据挖掘 数据结构与算法 管学科 ·云计算与分布式系统 统计与经济 统计与建模 ·SAS及R语言统计分析 学科 ·经济数据分析 商科与管理 ·数据挖掘 ·商业数据分析 学科 ·实战案例分析  大数据与教据挖掘实验类别 大数据分 大数据分析实战分 析基础类析实验 数据挖掘实验 算法设计 类实验 数据挖 掘验证 类实验  大数据实验糸统整体框 实验体系 据实验零售行业社交网络网络日志 实 大数据「平台搭建|Hve使用日志统计 教 师 数据挖 据展示数据分析聚类分析关联分析 资 培 实验管理、数据管理与展示 训 实验室硬件环境 学生C客户端虚拟机实验环境目实验数据存储 数据挖掘算法执行环境 Hadoop服务器集群  大数据与教据挖掘实验基础软件 ③数据挖掘基础语言环境—一R语言 最为流行的开源统计与数据挖掘软件 可跨平台运行,高效的脚本语言 为数据分析和显示提供的强大图形功能 丰富的高质量的开源第三方算法软件包 ⊕大数据分析环境—— Hadoop ·开源大数据分析的事实标准 大量的互联网公司作为实际生产平台 方便的Java开发环境 ·不断演进的良好生态环境  大数据与教据挖掘实验基础软件 ③最流行的商用数据统计分析软件—SAS 功能强大,统计方法齐全 ·使用简便,操作灵活 ③简单而强大的通用数据分析软件— Excel 数据统计分析 利用VBA进行数据挖掘分析 ③通用开发语言—Java 数据爬取 ·自然语言处理  大数据实验平台网络拓扑 服务器端 学生端 R计算服务 远程连接 Hadoop集群 开发环境 虚拟化实验台 测试环境 云虚拟服务 「远程互联痿入冈 云实验平台 管理挖制计算节点计算节点 云资源  大数据实验糸统实验内农(1 ③数据挖掘展示性实验 用于展示常用数据挖掘算法的作用,使用者通过实验系 统所提供数据集,直观理解数据挖掘算法的输出结果 实验类型实验名称 实验类型实验名 统计推断基础 数据可视化 统计分布 聚类 统计与建假设检验 数据降维 数据挖掘 模方法演基本线性回归 方法演示分类基础 示实验多变量线性回归 实验决策树分类方法 广义线性模型 高级分类方法 关联分析