大数据的思维.pptVIP

大数据的思维 王淳 天云大数据 2020-2-25 1 IT的定位 2020-2-25 2 业务支撑 创新引导 科研 Algorithm 信息化 Machine 商业 People CIO CDO Information Technology 虚拟化 Vs. 大数据 2020-2-25 3 Vs. 传统 Vs. 创新 2020-2-25 4 Linux/HDFS J2EE 存储设备 数据库 Web 操作系统 J2EE Hive/HBase …… Web X86 PC Servers Vs. 传统架构面临海量数据处理的瓶颈： 数据的自由度和性能矛盾。 固定字段、维度的表结构，限制了数据的入库和拓展。 数据索引方式的瓶颈，依赖文件目录结构（NAS）或私有的位图块表结构（Block）。 低成本-x86 PC 服务器 可扩展-线性扩展 灵活的数据结构-schema free 海量数据下的超高性能-及时实时 大数据创新在银行的应用 2020-2-25 5 核心系统 保留13个月以内的数据 查询时间段有限制，响应时间很快 磁带库 保留昨日以前数据 线下保存，恢复时间长、效率低 历史数据查询系统 保留1个月以前数据 查询没有时间段限制，响应时间很快 数据仓库 保留昨日以前数据 不对外提供联机服务 正文备份 数据采集 数据采集 高TCO/低ROI 核心减负、全量在线 2020-2-25 6 对公活期交易明细查询；活期法人透支户交易明细查询；对公定期交易明细查询；对私活期交易明细查询；对私定期交易明细查询；换卡登记明细查询…… 所有历史账务明细数据在线存储 大量查询业务操作迁出核心系统 大量并发查询请求毫秒级别响应 丰富业务创新数据挖掘灵活实现 银行客户精准营销 2020-2-25 7 基于上网日志的客户标签 2020-2-25 8 利用自然语言处理+支持向量机算法 基于用户上网行为和内容给客户打标签。 确保营销活动实时有效 全省7000多万用户， 每天300+亿条上网记录， 每条记录对应网页数据平局17.9KB， 相当于每天网络传输约500+TB的数据量， 每天进行自然语言处理和客户标签更新 无人工干预的机器学习 2020-2-25 9 人数占比 年龄 年收入 （元） 累计 标保和 缴付 保费 合计 件均 标保 寿险 缴付 金额 两全 缴付 金额 年金 缴付 金额 万能 缴付 金额 意外 缴付 金额 医疗 缴付 金额 重疾 缴付 金额 投连 缴付 金额 0.60% 47 48200 26900 80400 19000 500 5000 76700 2500 100 200 400 400 1.37% 51 29400 15000 96600 10700 500 90400 5800 11600 100 800 2200 3000 0.84% 40 180600 10800 21300 7800 1100 3800 12400 1600 100 300 700 0 2.07% 47 29400 7400 71100 11000 600 5100 1500 63700 100 500 1300 500 0.68% 33 8200 6500 30700 5400 200 800 29300 200 0 100 100 100 0.84% 53 3600 5800 80500 10400 0 5300 2500 5300 0 0 200 77200 1.77% 42 97400 5300 9800 3900 400 3300 3000 1700 100 300 400 0 年收入2.9万，总标保1.5万以上，高达9万的两全产品，产品覆盖面齐全 年收入高达18万，总标保只有1万，寿险和年金金额较高，无投连产品 年收入2.9万，高达6.3万的万能产品，产品覆盖面齐全 年收入只有0.3万，高达7.7万的投连产品 年收入9.7万，标保只有0.5万 年收入只有0.8万，高达2.9万的年金产品 年收入4.8万，总标保2.6万以上，高达7.6万的年金产品，产品覆盖面齐全 打破经验与规则，去大师，去精英。Let data talk。 2020-2-25 10 秒级的犯罪嫌疑人排查 乘坐同一班列车，住同一酒店的两个人可能是同伙，刑侦人员将不同线索拼凑起来排查疑犯，可是来自于多源数据的处理在传统IOE架构上，需要数小时甚至整日。 天云大数据平台将这一操作缩短至3秒，同时描述出疑犯的交往关系。公安人员可以基于计算出的线索流畅的思考。 大数据的效率让量变成为质变，形成新的洞察与知识 谢谢！ 2020-2-25 11