大数据安全领域数据集市构建与应用.pdfVIP

1背景与问题：

·没有统一的数据

·关心的数据有哪些

·需要的数据如何组织

·业务要数据，要找谁，怎么拿

·拿到的数据又怎么应用

2数据

纵观支撑的业务范围，包括安全、反、秩序、知识产品、

假货、、业务平台环境安全等等环节，公司各业务线数据、各社会

安全领域数据都是业务的重要数据，收集各异，包括TT、消息、

DataX、DSP、DHW等等技术，目前安全数据数据源概括如下：

3处理数据

3.1分层建设

安全数据集市分层建设，主要的目的是层次分明，每层承载的职责清晰，开发

及成本低，目前分为三层：ODL业务数据层，主要存放业务产生的原始数据；

IDL接口数据层，主要存放集市化建设的数据仓库数据；ADL应用数据层，

主要存放面向上层应用的数据；ODL主要了各产品线产生的业务数

据，需要其他商业智能团队的数据，直接，不做数据，数据

通过ODPS接口接入数据；IDL层及ADL根据安全业务进行化、集市化、规

范化数据处理。

3.2化建模

安全数据集市根据安全业务的特殊性，主要分析会员、商品、、行为

等数据，针对安全分析特性，目前进行了如下建设（下图），后期会针对相

关设备信息，如IP、地理位置、、、卡等等建立安全分析，有

针对性的抓出有风险、不可信信息，以准确的数据业务进行联防联控。

3.3集市化建模

集市化建设是数据集市建设的关键一环，也是业务使用最方便的数据，这

里对各个BU的数据进行了规范化集市、表命名、字段命名、指标命名等等，以

业务语言组织数据，避免太过技术化，便于数据的开放与应用，安全集市主要围

绕一下进行组织

4应用数据

安全数据集市建设的主要目的是为了支撑安全业务，通过多、多种方式进行

全方位的安全，与其他团队的合作丰富了数据广度与准确度，通过建设安全

分析产品、挖掘模型优化规则，同时提升了安全线上产品的准确度与范

围，让无处可逃。