WCBDA_M1S3L1_大数据的处理技术.pdfVIP

大数据导论 大数据的处理技术 大数据来源中有用的数据 2017-6-28 2 大数据来源中有用的数据 为了有效地使用大数据 ，企业需要合适的技术框架 2017-6-28 3 技术设施的运用 • 获取 • 格式化 • 存储 • 计算 • 搜索 • 显示 2017-6-28 4 存储和处理大数据 需要特殊的技术架构 2017-6-28 5 学习目标 • 理解与大数据相关的分布式计 算概念 • 基本了解Hadoop分布式计算 环境 2017-6-28 6 大数据与数据管理 数据管理的新形式 ： 数据的存储和清洗 数据的高速处理 展示型分析 推动快速决策 2017-6-28 7 大数据管理的解决方案 使用海量低成本 使用多处理器、 使用容错性系统 ， 使用分布式计算 ， 通过移动设备、 的虚拟存储 ，及 低成本的联网计 处理系统冗余和 解决数据多样性 可视化形式和实 数据位置跟踪系 算机和内存计算 数据副本 和实时数据处理 时告警 统 技术 2017-6-28 8 大学使用数据把学生分配到下属各个学院 校区 7 校区 1 大 学 校区 6 校区 2 校区 3 校区 5 校区 4 2017-6-28 9 分布式计算 商用机8 商用机7 商用机1 主 商用机6 系 统 商用机2 商用机5 商用机4 商用机3 2017-6-28 10