大数据和小米金融.pptx

大数据和小米金融

概述小米金融DW建设用户金融画像大数据反欺诈

小米公司-产品手机空气净化器净水器…电视移动电源插线板…生态链平衡车手环…智能家居摄像头血压计体重秤…

小米公司-成绩

小米金融信贷保险理财证券

小米金融-信贷便捷只需要一部小米手机随时/随地灵活第二天即可还款根据信用不同，先息后本/等额本金等多种还款方式极速1分钟身份验证1分钟到账进化随着小米产品的使用/提交资料/使用贷款等方法可以提升信用信用和新品公测/分期等结合

小米金融-保险基于智能设备的企业团体健康险健康险车险意外险数据平台基于智能设备与小米大数据的保险业务风险建模保险公司赢利点2：风控与精算定价数据输出TOCTOB业务平台极致性价比的保险产品支持保险业务快速成交、快速服务快速理赔的IT平台赢利点1：产品分销深度定制产品小米保险

DW建设架构工具-scribe-hadoop/hdfs-hbase-hive-impala-sqoop-spark

DW建设-业务架构智能家居小米手环小米血压计小米金融/支付外部数据（爬虫/合作数据）小米生活等等小米push小米电视/盒子/视频应用/主题商店多看阅读小米商城业务层设备层数据仓库模型KUDUhbaseHadoop/hdfs反欺诈模型信用模型机器学习/数据挖掘sparkimpalaHiveRscribe政策/运营sqoopSaiku

DW建设-log利器之scribeApplication/ScribeclientApplication/ScribeclientApplication/ScribeclientApplication/ScribeclientlocalScribeAgentAnotherScribeAgentHDFSFILEsOtherstorageLocalStorage来自于facebook高性能较好的容错性

DW建设-ETL利器之Hadoop/Hdfs每天上T数据ETL批处理

DW建设-DW利器之HBaseColumnfamily数量不能太多线上服务（99%读请求10ms左右，写请求5ms左右）容易用map/reduce进行批处理小米账号11月安装-t110月安装-t29月安装-t3columnfamily:app数据columnfamily:商城数据columnfamily:视频数据timestRowKey

DW建设-数据分析利器之Hive/Sentry类SQL查询语言/易上手无缝对接hadoop/hdfs/hbase使用Sentry进行权限控制缺点：速度较慢

DW建设-OLAP利器之Impala对应于google的dremel近实时(分布式查询引擎/中间结果在内存/LLVM/C++等)类SQL查询非常适合OLAP

DW建设-数据迁移利器之sqoop业务数据往往都在mysql从mysql到hbase

DW建设-机器学习利器之spark比hadoop更通用（丰富的API）高性能良好的机器学习支持

用户金融画像目标属性分析数据稀疏性问题

用户金融画像-目标金融属性-收入/支出/资产/购物/理财/…行为属性(人被行为所定义)-app/视频/图书/音乐/时间和次数/运动/…社交属性(物以类聚，人以群分)-居住区域/工作单位-米聊/小米社区-网络社交（微博/linkedin）人口属性性别/年龄/学历/…

金融用户画像-属性分析基于Spark引入GBDT+LR，GBDT+FM等方法自动发现、组合特征采样：均衡性问题去噪：部分业务数据可能有作弊数据

用户金融画像-数据稀疏性-应用数据应用元信息用户评论评分用户行为数据分类：SVM+人工

用户金融属性-数据稀疏性-职业数据定向定向抓取人工修正，需要一些领域知识搜索引擎通过搜索引擎获得语义机器学习分类知识图谱垂直搜索引擎建立公司、职业的知识图谱

大数据反欺诈-欺诈类型盗号-异常环境监测/手机验证身份伪造-实名认证虚假资料-交叉验证

大数据反欺诈-架构业务接口反欺诈中心DW/Cache外部数据接入异常特征发现资料交叉验证反欺诈模型决策引擎人工审批

大数据反欺诈-反欺诈联盟反欺诈任重而道远—需要大家携手如何衡量各自的价值？

Thanks