地产大数据的架构之路.pdf

赵国贤 链家 资深工程师 地产数据的基石之 大数据架构之路 目录 •  简介 •  演变 •  数据服务 •  工具链 •  集群能力（架构、安全&开放） Lianjia.链家-是一家数据驱动公司 数据需求演变 数据分析 自助 报表 平台 报表 需求 服务 数据挖掘 需求 数据获取 早期数据需求实现方式 挑战 •  多样的数据需求 •  规范的数据治理 •  迫切的数据安全 数据服务层 •  自助式的数据api服务 •  统一的权限管理 •  一站式的元数据管理和指标平台 统一数据入口-元数据管理系统 工具链层-枢纽 调度中心 即席查询 多维查询 自研的调度系统 探索性查询需求-presto & spark 多引 擎 安全的重要性 安全&开放 1PB+ data 100+ users 5000+ tasks 安全： •  Sentry堡垒机 •  服务认证 •  用户授权 服务认证 •  Kerberos •  kerberos本身的复杂性 •  datanode特殊的启动方式 •  Linuxcontainer •  过期失效问题 •  组件多样 用户授权&审计&数据加密 •  数据目录、hive表权限 •  审计-用户操作记录 •  数据加密 Q & A Thank You ！