李小龙-链家网大数据平台体系构建历程知识课件.pptxVIP

链家网大数据平台体系构建历程李小龙 链家网大数据部 一家卖房的中介公司要什么大数据？业务背景 2015年32014年22001年组建大数据部1链家网 成立全面推进O2O打通线上线下服务链家地产第一家门店链家网数据知多少全国楼盘字典 7000万经纪人13万用户2000万线上日UV 千万线下日约看房4万次链家网大数据应用场景房屋估价链家网大数据应用场景房客图谱链家网大数据应用场景BI报表目录一、背景简介二、大数据从0到1的架构落地三、大数据平台化体系的建设四、总结大数据早期落地架构图搭建Hadoop集群构建Hive数据仓库定制化报表开发大数据早期落地架构图特点简单开源HIVE数据仓库模型RPTOLAP星型模型 雪花模型DWDWODSSTG大数据从0到1落地成果支撑报表整合数据挖掘分析目录一、背景简介二、大数据从0到1的架构落地三、大数据平台化体系的建设四、总结业务发展带来的新挑战数据需求快速增长数据治理亟需规范数据安全迫在眉睫大数据平台化体系演进新大数据平台化架构房客图谱搜索推荐元数据数据API自助报表数据挖掘工具服务层数据质量调度执行数据权限PAAS数据计算StormSparkKylinMR应用层数据存储HDFSHBaseHive基础层数据接入KafkaMysql业务运营管理用户画像新大数据平台化架构数据需求快速增长自助报表调度系统Ad hoc数据治理亟需规范元数据系统指标平