下载猛犸技术白皮书.PDFVIP

0 网易猛犸大数据平台 目录 1. 猛犸大数据平台 2 2. 产品核心功能 4 2.1 猛犸大数据开发套件 4 2.2 调度系统 7 2.3 数据运河（NetEase Data Canal ） 9 2.4 分布式日志收集系统（NetEase DataStream ） 11 2.6 数据安全 14 2.7 数据质量中心 15 2.8 平台运维与监控 16 2.9 数据可靠性 17 3. 基于猛犸的大数据应用建设方案 18 4. 技术规格20 5. 组件版本23 1 网易猛犸大数据平台 1 猛犸大数据平台 猛犸大数据平台，网易大数据实践经验积累，一站式大数据应用开发和数据管理 平台。猛犸大数据平台主要分为大数据开发套件和Hadoop 发行版两部分。 猛犸大数据总体架构图 大数据开发套件主要包含数据开发、任务运维、自助分析、数据管理、项目管理 及多租户管理等。大数据开发套件将数据开发、数据分析、数据ETL 等数据科学工作 通过工作流的方式有效地串联起来，提高了数据开发工程师和数据分析工程师的工作 效率。 2 网易猛犸大数据平台 Hadoop 发行版涵盖了网易大数据所有底层平台组件，包括自研组件、基于开源 改造的组件。丰富而全面的组件，提供完善的平台能力，使其能轻易地构建不同领域 的解决方案，满足不同类型的业务需求。 敏捷易用 基于业务场景设计的用户操作界面提高了系统的易用性，结束了平台命令行运维 的繁琐状态。数据开发工程师和数据分析师通过简单拖拽和表单填写即可完成数据科 学相关工作。 成熟稳定 持续内部需求驱动帮助打磨平台，网易互联网各业务验证。同时，网易杭研院成 熟的QA 体系为猛犸大数据平台保驾护航。 安全可靠 猛犸平台提供多租户支持，不同租户之间相互隔离。底层使用 Kerberos 认证，实 现了数据的安全性和隔离性。除了认证系统，利用 Ranger 实现了细粒度权限控制， 保证了各个租户只能查看授权访问的库、表或字段。此外，平台提供审计功能，通过 对用户平台行为的记录、分析和汇报，用来帮助事后生成合规报告、事故追根溯源， 提高平台安全性。 3 网易猛犸大数据平台 2 产品核心功能 2.1 猛犸大数据开发套件 猛犸大数据开发套件提供可视化界面，用户可以进行数据开发、任务运维、自助 分析、数据管理及项目管理。大数据开发套件降低了大数据技术门槛，帮助企业快速 落地大数据项目。 网易猛犸开发套件 数据开发 数据开发模块提供数据库传输、SQL、Spark、OLAP Cube、MapReduce 及Script 各种类型任务的敏捷开发界面 ，任务开发者通过拖拽创建任务，方便地进行数据集成、 数据 ETL、数据分析等数据科学工作。以数据库传输为例 ，用户只需将 “数据库传输” 组件拖拽到画布上并双击 ，通过下拉框选择和手动输入填写表单，快速完成数据传输 的任务开发。 此外，企业还能根据自身业务场景按需进行任务调度管理，用户可以设置任务的 执行顺序、优先级以及执行周期。针对任务失败的情况，设置重试次数、重试间隔及 4 网易猛犸大数据平台 报警规则。最后，任务产生的结果可以对接主流BI 系统进行数据可视化分析，或者直 接回流到线上系统支撑辅助线上业务。 任务运维 任务运维模块包含可视化的任务管理和实例运维。 任务管理 ：用户可以查看当前产品线任务列表及各个任务的状态、创建人、修