大数据整理应用规范.docxVIP

大数据整理应用规范

作为一名在数据行业摸爬滚打快十年的从业人员，我见过太多企业对大数据又爱又恨的样子：有的企业砸了几百万买系统攒了几个T的数据，要用的时候才发现东一块西一块，错漏百出根本用不了；有的企业靠大数据赚了钱，最后因为数据整理应用不合规泄露隐私，被罚得元气大伤。其实绝大多数问题，根源都在于没有一套清晰可行的大数据整理应用规范。规范不是写在墙上给人看的空话，是从采集整理到落地应用每一步都要踩实的脚印，既能帮我们把数据的价值最大化，也能帮我们守住安全合规的底线。接下来我就从实际工作出发，把完整的规范要求梳理清楚。

1大数据整理的基础环节规范

大数据的价值从哪里来？首先是干净可靠的数据源，整理环节就是给大数据“打地基”，地基不牢，后面的应用再花哨也站不住脚。整理环节的规范可以细化为三个部分：

1.1数据采集准入规范

整理的源头是采集，采集环节守不住门槛，后面再怎么整理也救不回来。首先第一点就是要明确采集边界，所有采集的数据必须和当前业务需求强相关，不能“为了以后可能有用”就什么都采。比如你做线上餐饮平台，只需要采集用户的收货地址、点餐历史、支付信息就够了，没必要索要用户的通讯录、相册权限，更不能偷偷采集用户的出行轨迹这类和点餐无关的信息，这不仅违规，还会引起用户的反感。其次，所有采集到的数据必须做好源头标注，每一批数据要写清楚来源：是自有平台的用户行为日志，还是第三方机构合作