电商行业数据运营建设实践.pptxVIP

电商行业数据运营建设实践

•

•

•

•

•

提纲

一、对BI的思考

二、兰亭数据平台建设

三、大数据的高性能实现

四、高效的数据挖掘

五、BI的开展趋势

二、兰亭数据平台建设

2、架构

•数据收集：DataExp,shell脚本，Kafka分布式消息系统，快速低本钱收集日志等；

•抽取与转换：存储和计算基于EMR/Hive/Spark/Oracle

•存储：Oracle数据仓库存储量级较小的数据，Redshift存储量级大的数据

•云存储：AmazonS3

•Redis集群：支持实时推荐等

3、应用

•日常查询：临时查询；

•报表效劳：报表以web展示，或者邮件形式发送给用户；

•自助效劳：支持用户自定义查询，并保存为报表；

•网站运营效果评估：响应时间、各指标用户数等；

•流量分析：流量、点击率、转化率、跳出率等

•推荐系统

•搜索引擎

二、兰亭数据平台建设

•统一调度系统：架构

Server

Mysql

ClientAgent

ClientAgent

ClientAgent

AWSEC2

Oracle

Hadoop

ClientAgent

其它

二、兰亭数据平台建设

•调度系统：运维、管理、监控、依赖

二、兰亭数据平台建设

•报表系统：维度分析、动态展现、权限

元数据

RDSMySQL

Amazon

S3

二、兰亭数据平台建设

计算与存储：EMR+Hive

EMR+Hive

Oracle

Redshift

Mysql

DataExp

二、兰亭数据平台建设

•应用

推荐效劳

商品排序

运营数据

RESTfulAPI

前端系统

搜索引擎

CRM、其它系

统

WebService

三、大数据的高性能实现

•1、Oracle读写别离

–一拖二

–主库写，从库实时复制

–多从库用于查询、统计

–硬件加速：SSD盘加速

三、大数据的高性能实现

•2、Redshift

–AmazonRedshift是一种快速、完全托管的PB

级数据仓库解决方案;

–列式存储；

–数据压缩；

–区域映射；

–MPP并行处理框架:在不停机的情况下实现扩展

或收缩；

三、大数据的高性能实现

•3、Logstash、ElasticSearch、Kibana

–Logstash:日志进行收集、分析、过滤，并将其

存储供以后使用;

–ElasticSearch:全文搜索效劳

–Kibana:自定义搜索接口，页面展示

四、高效的数据挖掘

1、Hadoop在数据挖掘中的问题

•MP模式vs复杂的机器学习算法

•屡次迭代问题

•中间数据的处理

•开发周期长

四、高效的数据挖掘

2、Spark

RDD〔ResilientDistributedDataset〕

内存计算:计算的中间结果保存在内存中，不需要

读写HDFS；

快速迭代；

DAG

Scala

函数式编程〔FP〕；

Actor模型：基于线程和基于事件的Actor;

并发能力；

四、高效的数据挖掘

•3、Spark架构

HDFS

AmazonS3

HBase

本地模式

独立模式

EC2

Mesos

Yarn

MR

Spark

RDD

FP

Shark

Streaming

Mllib

Graphx

原始日志

Spark

Redis/HBase

模型结

果Hive

混合计算

Hive表

四、高效的数据挖掘

4、兰亭推荐系统架构

推荐结果

用户访问日志

四、高效的数据挖掘

5、基于用户行为的商品推荐

浏览

购置

购物车

收藏

训练数据

展示

预测ctr

模型结果

五、BI的开展趋势

•

•

•

•

•

•

更加灵活的可定制商业智能；

更易用更人性化；

多样的展示方式；

移动BI；

云计算与云部署；

海量数据处理；