大数据应用案例分析.pptVIP

大数据应用案例分析 目录大数据概念1大数据处理措施2大数据应用案例3 1大数据概念 大 数 据 时 代 到 来伴随智能手机的普及，网民参加互联网产品和使用多种手机应用的程度越来越深，顾客的行为、 位置、甚至身体生理等每一点变化都成为了可被统计和分析的数据，数据量呈现爆炸式增长。地球上至今总共的数据量：在2023 年，个人顾客才刚刚迈进TB时代， 全球一共新产生了约180EB的数据；据IDC研究机构预测：到2023 年，整个世界的数据总量将会增长44 倍，达成35.2ZB（1ZB=10 亿TB）！1PB = 2^50字节1EB = 2^60字节1ZB = 2^70字节GB在2023 年，这个数字达成了1.8ZB。TBPBEB ZB01 大 数 据 的 构 成大数据 =海量数据（交易数据、交互数据）+针对海量数据处理的处理方案海量交易数据： 企业内部的经营交易信息主要涉及联机交易数据和联机 分析数据，是构造化的、经过关系数据库进行管理和访 问的静态、历史数据。经过这些数据，我们能了解过去 发生了什么。海量交互数据： 源于Facebook、Twitter、微博、及其他起源的社交媒 体数据构成。它涉及了呼喊详细统计CDR、设备和传感 器信息、GPS和地理定位映射数据、经过管理文件传播 Manage File Transfer协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。能够告 诉我们将来会发生什么。海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的 架构。例如具有开放源码、在商品硬件群中运营的 Apache Hadoop。注：大数据 不但仅指的是数据量庞大，更为主要的是数据类型复杂想驾驭这庞大的数据，我们必 须了解大数据的特征。02 大 数 据 4V 特 征03构造化数据、半构造化数据和非构造化 数据如今的数据类型早已不是单一的文本形式，网络日志、 音频、视频、图片、地理位置信息等，对数据的处理 能力提出了更高要求实时获取需要的信息例如：在客户每次浏览页面，每次下订单过程中都会 对顾客进行实时的推荐，决策已经变得实时数据量巨大全球在2023 年正式进入ZB 时代，IDC估计到 2023 年，全球将总共拥有35ZB 的数据量沙里淘金，价值密度低虽然数据量很大，但是价值密度较低，怎样经过强大 的机器算法更迅速地完毕数据价值“提纯”，是目前 大数据亟待处理的难题大数据产品市场价值处理方案转化1. 海量（Volume）3.速度（ Velocity）4. 价值（value）2. 多样（Variety） 2大数据处理措施 用 户 画 像 体 系01每个企业都不能够防止的要对顾客进行画像，顾客画像的提出，根本上是源于企业对顾客认知的需求。 产品经理，需要了解顾客的特征，对产品进行功能的完善。内容运营人员，需要筛选目的顾客，对内容进 行精确投放。活跃程度怎样？年龄分布、区域分布是什么样的？消费习惯和特征是什么？企业在哪？对什么感爱好？常去的商圈是哪儿？获利点在哪？职业是什么？常住地在哪儿？购置能力怎样？基本特征？ 用 户 画 像 体 系02驾驶行为数据将构建精确的车险顾客画像性别年龄国籍地理位置开车地点职业驾照类别开车频率开车原因健庩情况医疗条件感知力学习周期消费习惯民族特征教育水平婚姻状态共用车辆情况生活方式使用药物情况酒驾经历疲劳驾驶收入情况碰撞事故车辆维修犯罪统计违章驾驶统计 驾驶时间经过对顾客不同维度的大数据分析，最终得出可执行的业务决策。基本属性行为习惯购置 能力心理 特征社交 网络兴趌 爱好 基于机器学习的数据挖掘及分类基本辨认流程03训练样本 数据源分词特征选择特征权重计算模型训练是模型评估是否经过待预测 类别文 本库文本打 上类别 标签否训 练 及 测 试 过 程预 测 过 程训练生成 的模型训练生成 的模型待预测类 别文本原 始库数据预处理训练样本库数据预处理a.清除营销博文干扰 b.清除提及人的干扰（@） c.清除如门户的作者的干扰 大 数 据 的 处 理04数据 去重空值 处理数据 去噪格式 统一对齐融合融合信息 数据库融合信息 数据库里程数据工况数据充电数据行驶轨迹车辆信息将空值更改为 相应的默认值使用UGC算法清除无用数据 使用基于密度的聚类清除异常数据将多源异构数据转换 为统一数据体现形式清除异常的数据项汇聚多源异构数据 中的一致部分数据挖掘分类的过程 3大数据应用案例 大数据是做好音乐平台的一把利器01爽歪的麻雀，在电线杆上裸睡削个椰子皮，你却TM给个梨撒米拉带带，哇嘎哇嘎哎哟想听的歌记不起名字？？？呀马大叔与小舅舅四斤大豆，三根皮带艾薇，莎啦啦，艾瑞噢喔噢喔，手