开发者使用文档和场景汇总.docxVIP

开发者使用文档和场景汇总 系统名称数据平台用户指南 项目负责人DP in DP作者数据平台团队文档提交日期2014年4月10日 修改记录No修改后版本号修改内容简介修改日期修改人10.1 初始版本，使用Data.dp和现有的开发流程2014/4/10张翼2 0.2传输系统替换成galaxy.dp，其他部分做了补充和优化 2014/6/3张翼 3 0.3 新增后端日志入库流程 2014/7/4许景楠 1. 开发准备1.1 组账号申请1.2 熟悉开发环境3. 开发程序3.1 开发测试DOL3.2 开发测试MapReduce Job4. 程序上线过程4.1 程序发布BU开发人员：4.2 调度配置4.3 同步表结构4.4 预跑数据5. 数据传输5.1 数据导入（MySQL, SQLServer 到 Hive）5.1.1 新增传输5.1.2 表结构变更处理5.2 后端日志接入（后端日志 到 hive）5.2.1 日志打印数据平台对接入的后端日志有一些规范，具体详见后端日志规范。后端日志规范包括内容规范和格式规范，格式规范通过日志打印工具marin加以保证。 后端日志内容规范 后端日志格式规范 日志打印工具marin5.2.2 申请后端日志入库到hdfs5.2.3 测试环境下测试 建立线上组帐号目录和产品目录 生成ETL任务