开发者使用文档及场景汇总.docxVIP

开发者使用文档和场景汇总 系统名称 数据平台用户指南 项目负责人 DP in DP 作者 数据平台团队 文档提交日期 2014年4月10日 修改记录 No 修改后 版本号 修改内容简介 修改日期 修改人 1 0.1 初始版本，使用Data.dp和现有的开发流程 2014/4/10 张翼 2 0.2 传输系统替换成galaxy.dp，其他部分做了补充和优化 2014/6/3 张翼 3 0.3 新增后端日志入库流程 2014/7/4 许景楠 1. 开发准备 1.1 组账号申请 1.2 熟悉开发环境 3. 开发程序 3.1 开发测试DOL 3.2 开发测试MapReduce Job 4. 程序上线过程 4.1 程序发布 BU开发人员： 4.2 调度配置 4.3 同步表结构 4.4 预跑数据 5. 数据传输 5.1 数据导入（MySQL, SQLServer 到 Hive） 5.1.1 新增传输 5.1.2 表结构变更处理 5.2 后端日志接入（后端日志 到 hive） 5.2.1 日志打印 数据平台对接入的后端日志有一些规范，具体详见后端日志规范。后端日志规范包括内容规范和格式规范，格式规范通过日志打印工具marin加以保证。 后端日志内容规范 后端日志格式规范 日志打印工具marin 5.2.2 申请后端日志入库到hdfs 5.2.3 测试环境下测试 建立线上组帐号目录和产品目录 生成ETL任务需要的配置文件并建表 测试ETL任务 5.2.4 任务发布 配置文件发布 线下表同步到线上 5.2.5 任务配调度 配置doCheck任务 ETL任务配置 任务预跑 5.3 数据导出（Hive 到GP Report, GP Analysis） 6. 附录 6.1 DOL开发参考 6.1.1 参考资料 6.1.2 运行方式 6.1.3 时间格式 6.1.4 velocity中的字符串比较 6.2 MapReduce开发参考 6.2.1 参考资料 6.2.2 新手指南 6.2.3 进阶指南 6.2.4 本地测试 6.2.5 伪分布环境提交 1. 开发准备 1.1 组账号申请 图1-1 按图1-1点击用户组权限申请，进入组大众点评工作流平台帐号申请界面，按界面提示填写必要信息，提交之后在”我发起的流程”中查看流程状态。 组帐号申请通过之后，您将收到如下邮件： 图1-2 如邮件遗失，您也可以通过以下操作获取密码： 图1-3 申请权限之前请先了解需要使用到的表，在申请界面中填写相关信息。如暂时不确定需要使用哪些数据，也可以后续申请。 原则是后续开发中要使用到的数据必须先通过权限申请。 开发环境建表权限请邮件至acladmin@进行单独申请。 1.2 熟悉开发环境 请先登录跳板。 开发环境的IP为4, 使用组帐号登录开发机器： ssh ${线下组帐号名称}@4 -p58422 进入组账号的HOME目录（cd），创建程序目录（如果已经创建，则次步可以省略），格式：${HOME}/${线上组帐号名称}[/${产品或项目名称}]，其中”产品或项目名称“为可选，各业务线按需创建, 在”产品或项目名称“目录下，用户放置程序或DOL 注意：开发环境以Hadoop作为认证方式，每次登录拿到的ticket有效期为一天，如出现执行hive,hadoop失败，请重新登录！ 2. 典型用户场景 1. 数据导入：可选步骤；如果有需要的数据没有导入，可以使用Galaxy的传输工具配置导入作业（具体使用请参考5.1） 2. 查询主数据，两个目的： a. 查询程序使用的数据是否都已经导入HIVE b. 查询如何使用模型数据 （请点击链接访问新的主数据系统) 3. 开发程序：开发DOL或MapReduce作业，并在开发环境测试DOL或MapReduce程序（具体使用参考3） 4. 程序发布：程序发布到git（具体使用参考4.1） 5. 配置调度：在调度系统中配置程序，定时运行程序（具体使用参考4.2） 6. 同步表结构：从开发环境同步表结构，并在线上建表（具体使用参考4.3） 7. 预跑数据：可选步骤；两个目的： a. 在线上验证作业正确性 b. 补历史数据 (具体使用参考4.4) 8. 数据导出：可选步骤；将数据从Hive导入GP Report或是GP Analysis（具体使用参考5.2） 3. 开发程序 3.1 开发测试DOL DOL的命名规范：组账号.业务划分.表名.dol 例：dwdev.dp.dpdim_dp_shop.dol DOL程序由Hive的配置和SQL组成，开发完D