谈谈埋点质量管理.docVIP

谈谈埋点质量管理 / 如今互联网人对于数据的使用可畏常态化，虽然有的是日常工作，有的只是几次需求，但无论对与数据有多少依赖，在数据的使用或解读上，以下情况大家应该都会遇到一二。 团队来了一位新同学，想分析某个功能的数据情况，但感觉无从下手。便问老员工这个功能对应的埋点、那个页面对应的参数，得到的不是口口相传就是看着聊天记录中的文档地址。面对着黑压压一片的埋点信息，内心估计已经开始神兽奔腾了； 新版本上线后进行效果分析，发现埋点出现纰漏，此时若是重要数据，需要紧急找人发版，时间紧张又担惊受怕；若此时是一般数据，开发同学的回复大概率是：“和下个版一起迭代”，时隔半年一年再进行分析，这段数据波动的原因估计也没人能说清了； 测试同学拿着协作的埋点文档，测试过程中发现不是字段对应错误就是信息维护不全，解读起来麻烦不说，如果碰到大版本还需要进行埋点回归，不仅测试过程中工作量大，还有漏测的风险。 埋点数据作为日常数据最重要的三大来源之一（包括业务数据和对外合作数据），其重要性不言而喻。上能影响推荐、AB实验、数据分析的准确；下能影响仓库的结构设计和日常维护成本。当前数据更是作为资产被各家公司所重视。想象一下到年终盘点时，面对一团“剪不断，理还乱”的数据，会是一种什么心情。 笔者通过对最近接手的埋点质量项目的一些经验总结，希望通过这篇文章给大家分享一下心得体会。 一、埋点质量问题有哪些？ 埋点过程整体链路环节较长，囊括的角色也相对较多。出了问题排查难度大，周期长，而且涉及团队配合问题也不好把控，下面我们来总结一下哪些环节容易出问题导致埋点质量问题。 如果在数据产出阶段不进行把控，等到了应用阶段就会出现数据不完整、数据重复、数据不一致、数据不匹配等数据问题。所以解决埋点质量问题要做到“预防为主、防治结合、综合治理”的方针，下面我们来看下如何进行埋点质量管理。 二、如何进行埋点质量管理？ 要开展埋点质量的管理，笔者认为可以从以下三个角度开始执行：意识、制度流程、工具。 1. 意识 这里所谓的意识更多的是一种价值观、信念或者说是一种行为“动机”，是每个同学做事对自我要求的一项软性标准，类似于“道德”。 可能读到这大家觉得有些浮夸，怎么管理个埋点都上升到道德层面了。别着急，继续往下看。 对于执行层，无论是分析师或埋点产品必须要对出自自己手中的需求要负责，时刻意识到，埋点需求是整条数据链路的源头，并且用户实时发生数据拥有着不可回溯性。如果要是从源头开始“错、缺、乱”，那后续的环节不仅增加了成本，同时这部分数据也“白白流失”了。 而对于高层管理者，在任职期间要适当地给予数据治理一些侧重，无论是在人力上还是时间上。 让自己或自己的上级领导提升一些基础建设的意识，磨刀不一定会误砍柴功。用产品进行向上管理固然重要，毕竟是一个看的见、用得到并且能“体会”价值的载体。如果只在乎表面光鲜，那背后的“千疮百孔”要何时才能有机会修补。 任何一个组织创建时都需要有一个文化或者信念，在做事的时候可以时刻提醒自己。所以在质量管理的第一个重要角度是意识。 2. 制度流程 上面讲述了意识层面上的统一，下面开始说的就是行为上的规范。所谓无规矩不成方圆，任何一件事有一个良好的规范去执行，那出错的概率就会比每个人自由发挥低很多。 这里所说的制度包括两个方面：角色流程和采集规范。 1）角色流程 埋点从需求产出开始要经历埋点开发、数据上报、数据采集、数据清洗、数据入库最终到业务应用，涉及的人员包括埋点产品分析师、开发、测试、采集工程师、仓库工程师等。 各个环节能有机组合就需要一个良好的配合制度，既能保证工作有条不紊，同时又避免了权责混乱导致的问题无法及时响应。 2）采集规范 ① 文档规范 文档规范要求负责埋点的同学列清相关需求点，包括：所需要的事件信息、统计位置、打点逻辑、上报时机。甚至还可能有失败后如何处理、失败原因、变更历史等相关内容，细化的需求文档有利于降低其他环节同学的理解偏差，也便于埋点使用时了解前因后果及错误信息。 ② 接入规范 是指业务开发同学在使用埋点组件时要严格遵守组件方提供SDK的使用规则，例如通用事件内扩展字段的埋点位置、上报时机等。切不可根据“自我经验”进行更改优化。 ③ 命名规范 命名规范适用于埋点信息的命名，包括事件ID、事件参数以及实际的参数值，做到以下原则： 方便解读； 不要有特殊字符，不要采用系统关键字或预置关键字进行命名； 字段不易过长； 版本前后字段映射统一等。 无法挨个维护的的参数值可以采用SPM或SCM模型来制定采集规范。 SPM叫超级位置模型，最早是受到土地户籍制度启发而设计的位置系统，目的应用于页面的统计、追踪页面的来源等场景，通常在埋点时作为埋点参数上报到数据后台。其编码形式采用A.B.C.D四层级进行组合，分别代表了业务、页面、页面区块、区