CMCC-Intel-Foshan数据处理技术.pdf

Intel Hadoop及电信行业经验分享 孙元浩 数据中心软件部 英特尔Hadoop发行版 优化的大数据处理软件产品 稳定的企业级Hadoop发行版 利用硬件新技术进行优化 为Hadoop提供即时数据处理能力 针对行业的功能增强，应对不同行业的大数据挑战 数据分析、统计和挖掘 数据处理 工具集 Mahout R 数据统计 Hive Pig 机器学习 from Revolution Analytics 交互式数据仓库 数据流处理语言 英特尔 Sqoop Hadoop 关系数据ETL工具 Manager MapReduce 稳定高效的分布式计算框架 安装、部署、 Flume 配置、监控、 日志收集工具 分布式、高维数据库HBase 告警和访问控 制 HBase 0.94的改进和创新，提供即时数据处理 Zookeeper 分布式协作服务 HDFS 可靠的分布式文件系统 2 大数据在中国 英特尔Hadoop发行版 – 主要特色 经实际验证的企业级 Hadoop 发行版 •全面测试的企业级发行版，保证长期稳定运行，集成最新开源的和自行开发的补丁，用户可以及时修正漏洞保证各个部件之间的一致 性，使应用顺滑运行 实时数据处理的分布式大数据应用平台 •通过对 HBase 进行改进和创新，英特尔 Hadoop 发行版提供实时数据处理功能。为企业对数据的实时监控和即时处理提供 有效保障 针对企业用户开发的新的平台功能 •提供企业关键应用程序所需的即时大数据分析，以及其他针对企业用户需要的增强功能，例如：提供跨数据中心的 HBase 数据库虚拟大表功能，实现 HBase 数据库复制和备份功能， 等等。 提供底层 Hadoop 性能优化算法和稳定性增强 •基于 Hadoop 底层的大量优化算法，配合英特尔优化架构，使应用效率更高、计算存储分布更均衡，系统安装程序计算得出 的优化参数配置，适合大多数应用情况，与硬件技术相结合，提高平台性能 提供企业必须的管理和监控功能 •提供独有的基于浏览器的集群安装和管理界面，解决开源版本管理困难