大数据分析技术与应用介绍—从传统统计到人工智能.pptx

大数据分析技术与应用介绍 — 从传统统计到人工智能 为准备由提送主讲人 马亮 博士 清华大学计算机系毕业，博士学位。长期面向大型企业海量数据/大数据环境下的分析挖掘与深度洞察服务。客户主要为世界/中国500强企业与国家部委。 2011加入HCR， 任CTO 首席数据科学家, 负责公司大数据技术战略与相关深度应用服务为准备由 HCR提送HCR（慧辰资道） 核心业务 通过大数据分析 帮助企业洞察市场与消费者围绕市场与经营过程，全面洞察企业与消费者行为影响消费者的未来目标消费者传达监测/倾听消费者构造更好的产品HCR Loyalty发现消费者特性HCR CommunicationHCR ChannelHCR Innovation了解市场HCR Consumer InsightHCR Business Consulting2015年 新三板上市2016年 营收超过3亿2017 中国大数据行业地图 大数据研究咨询 排名第一 研究能力 从消费者出发洞察，服务企业多业务场景DATA INSIGHT PLATFORM企业内部数据外部数据小数据大数据产品消费者发现分析解读预测预警反馈战略Strategy研发RD产品Product供应链Supply营销Marketing销售Sales服务Service路标规划产品研发产品规划供应链管理市场沟通渠道管理售后服务…………品牌管理市场趋势用户研究产品营销……产品定位数字营销……………………商业大数据分析 基本要素大数据的4V 核心特征VolumeVarietyVelocityValue 数据体量巨大数据记录规模 亿( 亿 - 百亿 -千亿）数据文件尺寸：百G -TB - PB -ZB数据来源/维度多样数据属性 大大丰富1 传统线下 - 线上2 数据产生场景 增加 商业交易 /位置/ 浏览/社交媒体/物联网….数据格式 更加复杂 结构化 - 半结构化 / 非结构化 - 音视频 / 富媒体属性维度 扩展高处理/响应能力高速存储/查询/处理亿级规模 秒级反应更高的分析能力实时计算/高维向量计算结果快速呈现 更优化/易懂巨大的价值更大分析空间/维度新的研究分析方法意味insight/应用可能数据只有分析后才有价值！！商业大数据 分析数据有哪些 （以消费类市场为例）打通融合围绕企业服务生命期所产生的所有数据线上（行为/日志..)消费类业务分析数据结构化非结构化消费者属性基本属性深层画像态度（基本认知..）线下（终端/人工..)消费前决策行为线上搜索/浏览线下店面/对比企业经营过程公关/广告/渠道/客服….业务系统采集（CRM/客服..)消费行为线上购物线下店面交易网络/第三方（电商/社媒/第三方..)更多…目标消费者持续消费行为ARPU提升/流失..服务使用行为产品/服务的使用吐槽/评论市场调研（问卷/访谈..)主要分析方法论全局的定性/定量结果What（全局特征）Why （原因解析）自顶向下（总体-局部）1 总体/全局2 相对变化3 产生原因统计学（分布/方差..)传统经典方法论分布/份额/排名/分组总体趋势个性化分析（个人评估/征信/画像）1 个体化2 多弱-强3 发现异常4 未来预测5 不关注原因 What（局部 /个体）Forecast（未来）关联性/弱-强相关自下向上（个体-群体）机器学习为代表的新方法论预测/推荐（推荐引擎/DSP/精准营销..）找全局最优分析方法论 不同应用场合和关注点ToC类消费业务分析 核心目标分析人（消费者），投其所好 不是分析物（商品/产品）统计 - 分析 - 洞察分析 ：变现变化/异常洞察：找出原因/预测未来不同分析方法论的分析点 不同3个最主要的分析点因果性 相关性 周期性新方法论 擅长多个弱相关因素 组成的强相关发现异常 往往很有价值分清主要次要（降维）统计性方法论 擅长分布/主要原因 往往 Common Sense变化比分布更重要 发现趋势有价值发现后面的原因更有意义 分清因果性/相关性 常错误导致很多结论数据分布假设/验证不能忽视 数据规模大时更困难真正分析 是要发现以上因素 不是简单统计 各方法论并不对立, 结合实施 才有最大效果行业基于整合大数据企业业务/销售数据大数据 小数据 整合研究分析新分析方法论整合的分析与洞察能力CRM/客服数据洞察结果深入定性挖掘找准你的金主找出原因消费者行为数据/日志…传统分析方法论外部/第三方互联网/社媒体进一步深入数据整合研究商业大数据分析场景 典型实施过程建模探索验证/最终实现分析体系设计数据预处理应用与优化基于整合的数据（大规模数据采用小规模抽样，如千万级，结合小数据分析），分析与算法人员，结合工具，进行建模挖掘,