如何搭建企业埋点体系.docxVIP

如何搭建企业埋点体系 今天，主要通过以下几个部分了解在一个中大型的公司里面如何去完成一个数据平台，以数据采集体系平台的搭建这个完整流程，在一个小公司中借用一些开源的工具以及第三方的 SaaS 的服务，能够进行一个简单的行为分析平台的搭建。 1、什么是用户行为数据及其重要性 2、如何在公司里面去搭建采集体系 3、如何规范这个埋点的业务 4、我们常见的工具以其他人的产品有哪些 一、行为数据及其重要性 比如说今天中午 11: 50 的时候，在这个美团的首页进行了一个外卖按钮的点击。那这个时候话美团公司它会记录到我中午十五十一点五十分在这个美团 APP 的首页，点击了这个外卖的按钮，然后会传一条信息包含类似截图右侧的格式数据就会发送给这个美团的服务器。 所以我们在这个不管是 APP 也好，还是比如说这个 APP 或者是我们在网页上面，我们在家里面 B 站上看这个 PC 端的视频，这些所有的这个行为话都会被记录下来。这一些数据就是我们所说的行为数据。 1.1基础名词解释 1.2行为数据常见的应用场景 1、最简单的话我们会去做这个公司里面的产品迭代，然后功能模块使用分析。 2、是说我们做了一个线上的活动，然后使用这一些数据来进行评估。 3、使用用户的行为数据，去做用户画像 4、根据这个用户的偏好去推荐广告 这个是用户的行为数据，它常见的应用的场景这一块话，相信大家在公司里面最常见的应该是第一个跟第二个就是我用这个数据去衡量上线的好坏，这个是他的应用场景会有这一些。 二、如何搭建一个埋点采集体系 在整个过程中有三个重要的因素 资源 人员 流程规范 在埋点采集到应用过程中涉及到各个不同角色相互配合，会有各自的分工。 从业务需求方开始。比如说市场运营产品开始提需求，数据产品根据产品对这个业务同学这里的需求进行评审以后，梳理出这个用户的业务路径，然后抽象出场景组件，完成这个指标体系的搭建。输出埋点的需求文档 DRD 然后我们把这个文档交付给到开发。 开发这里的话会把埋点需求文档跟产品技术文档一样，做一个需求的可行性方案优先级一个评审这个埋点能不能做，这个数据能不能采集，采集采集的量有多大等等 关于埋点需求文档展开一些细节讲讲 上面这个是一个比较典型的埋点需求文档样例，包含事件名、属性信息、触发时机、示例等等基础的埋点信息，在实际设计埋点需求文档时需要考虑命名的规范、属性信息的复用等等。 2.1实现方式之采购第三方产品 目前一般有通过采购和自研 以及采购后增加自研进行 接下来是说我们在工具上面会有两种实现的路线。第一种我们是基本上有非常多的第三方的数据治理、数据可视化、数据监测的这种工具。 2.2实现方式之自研产品 第二种以自研为主的实现方式，中间会有几个关键的环节，数据采集、数据存储（含计算引擎）、数据可视化 数据采集 对行为数据采集部分我们一般封装为埋点采集的 SDK，然后嵌入到不同的客户端中。SDK 的作用在于封装好一些公共的参数信息、上报方式以及帮助各端开发简化数据上报的过程。同时也在基础层面上支持类似可视化埋点、圈选埋点、全埋点等不同的埋点方式。 数据存储（含计算引擎） 在行为分析领域里面，现在最热门的是使用 Clickhouse 做存储及计算引擎，这个笔者所在公司，每日千亿级别的数据增量可以比较高效从容的进行行为数据分析。对于数据并没有那么大的公司也可以根据自身情况选择诸如 Durid、Impala等计算引擎 数据可视化 分析的结果在大部分团队内部都希望能以可直观查看的方式进行展示，包括一些简单的图表、数据看板等。这部分如果选择完全自研的话成本比较高，一般的处理方式有两种，一种采用开源的图表组件进行二次开发，例如使用范围比较广的 Echarts、AntV 等进行定制化的图表开发。另外也可以直接在上游的分计算引擎上直接接入传统意义上的 BI 可视化产品进行最终数据结果的展示。 这类产品开源和和商用的都比较丰富，国内大多是以敏捷 BI 的Title宣传，在开源侧则可以选择使用受众比较多的 Superset和 Metabase，前者功能丰富，后者颜值交互更高。 三、如何规范埋点业务 针对如何规范埋点业务，我们也是从组织和工具两方面进行，组织层面上我们划分为业务相关和技术相关，各自都需要一个关键对接人。 对业务对接人 业务对接人主要是对业务需求的汇总抽象，高效的设计埋点采集事件及公共参数等。提升整体数据采集的可复用性和规范。这个角色也需要一些比较突出的特质 既要有数据相关的基础，又要业务流程熟悉，能帮助业务产品梳理清楚需要采集的数据内容，查看的指标范围。 技术对接人 对技术对接人来说，核心职责是能在采集上报层面做到技术高效实现。借助开源或者自研的埋点采集 SDK 完成数据底层支持。 整个实操过程中需要有相关工具产品的支持 埋点管理 在初期阶段使