大数据分析技术与应用的介绍—从传统统计到人工智能.pptVIP

大数据分析技术与应用介绍 — 从传统统计到人工智能 主讲人 马亮 博士 2019-8-13 清华大学计算机系毕业，博士学位。长期面向大型企业海量数据/大数据环境下的分析挖掘与深度洞察服务。客户主要为世界/中国500强企业与国家部委。 2011加入HCR， 任CTO 首席数据科学家, 负责公司大数据技术战略与相关深度应用服务 HCR（慧辰资道） 3 核心业务 通过大数据分析 帮助企业洞察市场与消费者 4 4 了解市场 构造更好的产品 监测/倾听消费者 目标消费者传达 影响消费者的未来 发现消费者特性 HCR Business Consulting HCR Consumer Insight HCR Channel HCR Communication HCR Innovation HCR Loyalty 围绕市场与经营过程，全面洞察企业与消费者行为 2015年 新三板上市 2016年 营收超过3亿 2017 中国大数据行业地图 大数据研究咨询 排名第一 研究能力 从消费者出发洞察，服务企业多业务场景 商业大数据分析 基本要素 6 大数据的4V 核心特征 7 数据体量巨大 数据记录规模 亿 ( 亿 - 百亿 -千亿） 数据文件尺寸： 百G -TB - PB -ZB 数据来源/维度多样 数据属性 大大丰富 1 传统线下 - 线上 2 数据产生场景 增加 商业交易 /位置/ 浏览/社交媒体/物联网…. 数据格式 更加复杂 结构化 - 半结构化 / 非结构化 - 音视频 / 富媒体 属性维度 扩展 高处理/响应能力 高速存储/查询/处理 亿级规模 秒级反应 更高的分析能力 实时计算/高维向量计算 结果快速呈现 更优化/易懂 巨大的价值 更大分析空间/维度 新的研究分析方法 意味insight/应用可能 数据只有分析后才有价值！！ Volume Variety Velocity Value 商业大数据 分析数据有哪些 （以消费类市场为例） 态度 （基本认知..） 围绕企业服务生命期所产生的所有数据 消费前决策行为 线上搜索/浏览 线下店面/对比 消费行为 线上购物 线下店面交易 消费者属性 基本属性 深层画像 服务使用行为 产品/服务的使用 吐槽/评论 企业经营过程 公关/广告/渠道 /客服…. 持续消费行为 ARPU提升/流失.. 消费类业务分析数据 结构化 非结构化 打通 融合 线上 （行为/日志..) 线下 （终端/人工..) 业务系统采集 （CRM/客服..) 网络/第三方 （电商/社媒/第三方..) 市场调研 （问卷/访谈..) 更多… 主要分析方法论 9 1 总体/全局 2 相对变化 3 产生原因 What（全局特征） Why （原因解析） 自顶向下（总体-局部） 传统经典方法论 What（局部 /个体） Forecast（未来） 关联性/弱-强相关 自下向上（个体-群体） 1 个体化 2 多弱-强 3 发现异常 4 未来预测 5 不关注原因 全局的定性/定量结果 找全局最优 个性化分析（个人评估/征信/画像） 新方法论 分布/份额/排名/分组 预测/推荐 （推荐引擎/DSP/精准营销..） 总体趋势 统计学（分布/方差..) 机器学习为代表的 分析方法论 不同应用场合和关注点 真正分析 是要发现以上因素 不是简单统计 统计性方法论 擅长 分布/主要原因 往往 Common Sense 变化比分布更重要 发现趋势有价值 发现后面的原因更有意义 新方法论 擅长 多个弱相关因素 组成的强相关 发现异常 往往很有价值 分清主要次要（降维） 不同分析方法论的分析点 不同 3个最主要的分析点 因果性 相关性 周期性 ToC类消费业务分析 核心目标 分析人（消费者），投其所好 不是分析物（商品/产品） 分清因果性/相关性 常错误导致很多结论 统计 - 分析 - 洞察 分析 ：变现变化/异常 洞察：找出原因/预测未来 数据分布假设/验证不能忽视 数据规模大时更困难 各方法论并不对立, 结合实施 才有最大效果 11 大数据 小数据 整合研究分析 外部/第三方 商业大数据分析场景 典型实施过程 12 数据预处理 建模探索 验证/最终实现 应用与优化 相关数据源，做： 整合 预处理 清洗 关联 基于整合的数据（大规模数据采用小规模抽样，如千万级，结合小数据分析），分析与算法人员，结合工具，进行建模挖掘,将模型初步固定 将模型在更大数据规模上进行