【2017年整理】开发者使用文档和场景汇总.docxVIP

大众点评/平台技术中心/数据平台组 PAGE 开发者使用文档和场景汇总 系统名称 数据平台用户指南 项目负责人 DP in DP 作者 数据平台团队 文档提交日期 2014年4月10日 修改记录 No 修改后 版本号 修改内容简介 修改日期 修改人 1 0.1 初始版本，使用Data.dp和现有的开发流程 2014/4/10 张翼 2 0.2 传输系统替换成galaxy.dp，其他部分做了补充和优化 2014/6/3 张翼 3 0.3 新增后端日志入库流程 2014/7/4 许景楠 HYPERLINK \l h.s8xaotbprjls 1. 开发准备 HYPERLINK \l h.bohx87bg02tm 1.1 组账号申请 HYPERLINK \l h.slo9h4ettf5m 1.2 熟悉开发环境 HYPERLINK \l h.nckw1y3ivyq8 3. 开发程序 HYPERLINK \l h.6vr7zkff2gf0 3.1 开发测试DOL HYPERLINK \l h.4dfjugj47x2s 3.2 开发测试MapReduce Job HYPERLINK \l h.sh33ou38uj1l 4. 程序上线过程 HYPERLINK \l h.6nvfpml6c1oc 4.1 程序发布 HYPERLINK \l h.mrnxi7cq8b3q BU开发人员： HYPERLINK \l h.b0nzdjqgon3z 4.2 调度配置 HYPERLINK \l h.p1ox0t4cliom 4.3 同步表结构 HYPERLINK \l h.52n20lnvfjnr 4.4 预跑数据 HYPERLINK \l h.rjbqbptezbed 5. 数据传输 HYPERLINK \l h.tbac7g8a7loq 5.1 数据导入（MySQL, SQLServer 到 Hive） HYPERLINK \l h.gyteox6k0qh1 5.1.1 新增传输 HYPERLINK \l h.8od7tul7ht68 5.1.2 表结构变更处理 HYPERLINK \l h.a3d9ja2tk2a1 5.2 后端日志接入（后端日志 到 hive） HYPERLINK \l h.6pvie2qnfm1u 5.2.1 日志打印 HYPERLINK \l h.9as5bvdh3l5e 数据平台对接入的后端日志有一些规范，具体详见后端日志规范。后端日志规范包括内容规范和格式规范，格式规范通过日志打印工具marin加以保证。 HYPERLINK \l h.2z3j1kvkt25u 后端日志内容规范 HYPERLINK \l h.4zy8zquzdphr 后端日志格式规范 HYPERLINK \l h.r8ttbvet9op 日志打印工具marin HYPERLINK \l h.6pf22klllg59 5.2.2 申请后端日志入库到hdfs HYPERLINK \l h.7mj7mfxle0s6 5.2.3 测试环境下测试 HYPERLINK \l h.158oqzbrw3rk 建立线上组帐号目录和产品目录 HYPERLINK \l h.pzx9ovvccsly 生成ETL任务需要的配置文件并建表 HYPERLINK \l h.hcywhnskuhge 测试ETL任务 HYPERLINK \l h.b9b8hfaa8r5i 5.2.4 任务发布 HYPERLINK \l h.typ4nhe6ky83 配置文件发布 HYPERLINK \l h.ncmq8odwhrkm 线下表同步到线上 HYPERLINK \l h.3i5e0ajywmma 5.2.5 任务配调度 HYPERLINK \l h.hyv3j89siz31 配置doCheck任务 HYPERLINK \l h.uhizv61xkdq0 ETL任务配置 HYPERLINK \l h.wgqmc0kxzyso 任务预跑 HYPERLINK \l h.6y4rxke6w7fb 5.3 数据导出（Hive 到GP Report, GP Analysis） HYPERLINK \l h.rukgf52ym9y5 6. 附录 HYPERLINK \l h.