数据挖掘和大据技术应用.pptVIP

数据挖掘与大数据技术应用  DAMA目录 一、大数据的来源 什么是大数据 三、大数据的关键性技术 四、大数据的应用 五、成功案例  引言→电影《点球成金》 2011年布拉德皮特主演的《点球成金》是一部美国奥斯卡获奖影片,所 讲述的是皮特扮演的棒球队总经理利用计算机数据分析,对球队进行了翻 天覆地的改造,让一家不起眼的小球队能够取得巨大的成功。 AR丽 基于历史数据,利用数据建模 iea定量分析不同球员特点,合理 搭配,重新组 6BEST PICTI 打破传统思维,通过分析比赛 数据,寻找“性价比”最高球 员,运用数据取得成功  数据本质是生产资料和资产 过去3年数据总量被以往4万年还多 数据不再是社会生产的“副产物”,而是可被 次乃至多次加工的原料,从中可以探索更大 价值,它变成了生产资料。 2013年,10分钟的信息总量将达18ZB 仅供开采162年 2010年全球数据总量1.2ZB,年增长50% 不可再生资源VS鼓据 仅供开采45 仅供开来60年  DAM数据爆炸式增长(每分钟……) 13000+个 Skype上 wItter上发 iPhone37万+分钟的布98000+新 应用下载 语音通话 微博 ysp 上传600发出1.68亿+ Facebook上 新照片到 flickr 条E 更新695万 条新状态 You Tube上淘宝光棍节 12306出票 上传600+新10680+个新1840+张 视频 订单  DA数据资产管理的挑战 尽管“数据是资产”概念已经广为人知,但“如何管理数据 资产”仍然缺少成熟理论以及工具手段 什么是数据资产? 存在什么问题? 数摆库我 定义丌统一 分配丌透明, 报表 数据资产错配 治理无力 数据源丌规范 数据刀开放 业数据合作 应用低效 分布杂乱 处理缓慢,薮据资产闲翼/评估手缺失 数据资产是企业及组织拥有或控制 导致低效决策 数据资产价值大运营缺失 能带来未来经济利益的数据资源 打折扣 数据资产管理是企业或组织采取的各种管理活劢,用以保证数据资产的安全 完整,合理配置和有效利用,从而提高带来的经济效益,保障和促进各项事 业发展。该领域是大数据时代企业布局竞争的核心,也是目前市场空白  DA数据资产管理的挑战 为什么传统数据管理方式并不适合数据资产管理要求? 传统数据管理方式 外部性管理,依赖管理力度和执行自律,成难毁 元数据 数据 管理 从范围来看, 稽核 制度 内涵来看 ·。 资产验证 lata 从形式来看 数据整合 ·°。。交易保障 非结构化数据、内外部数据混搭 数据加工的复杂度和速度要求越来数据的交换、转让、租赁,交易等 云化处理等都会冲击传统管理模式 越高,也对传统管理效率提出战各种创新模式,也要求新的管理手 挑战1 挑战2 挑战3 6  DA需要不同“看”数据的方式 可视:结化资料15 未视:半/非结构化数据85% 主管们看的 战情数位仪表板 其实是残缺的  Mk需要更高性价比的数据计算与储存方式 10万 GB 数据仓库 10万 计算更快存储更省  D需要不同的数据管理策略 当我们想要扩充时 才发觉 结构化的DB/DW 架构只能 cale-up 遗憾 scale-out不易 处理时间过长 time-to- value受限 成本过高 cost-efficiency受限 85% 半/并结构化的 Log/Web page /Email /PDF mage/Fu|text/ MS-Office file残缺 9