大数据技术与应用(最全)解决方案.pptx

大数据技术与应用目录引言→电影《点球成金》基于历史数据，利用数据建模定量分析不同球员特点，合理搭配，重新组队；打破传统思维，通过分析比赛数据，寻找“性价比”最高球员，运用数据取得成功；布拉德•皮特主演的《点球成金》是一部美国奥斯卡获奖影片，所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。数据本质是生产资料和资产不可再生资源VS数据数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，它变成了生产资料。数据爆炸式增长（每分钟……）数据资产管理的挑战数据资产管理的挑战需要不同“看”数据的方式7可视：结构化资料15%未视：半/非结构化数据85%DB/DW主管们看的战情数位仪表板，其实是残缺的…10万GB10万TB需要更高性价比的数据计算与储存方式8数据库数据仓库计算更快存储更省9需要不同的数据管理策略当我们想要扩充时，才发觉：架构只能scale-up，scale-out不易处理时间过长，time-to-value受限成本过高，cost-efficiency受限15%结构化的DB/DW遗憾残缺每天几百GB、几TB的资料，且持续成长中储存Storing在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing)计算Processing如何有效的避免因硬件毁坏所导致的资料损毁管理Managing如何从中挖掘出所关注事件的pattern或behavior分析Analyzing超越企业现有IT的数据解决能量10中央政府对大数据的重视程度11习近平政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日   “大数据”首次写入政府工作报告奥巴马“将投入巨资拉动与大数据相关的产业”“数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。李克强：加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。李克强经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务汪洋数据为王，财政工作离不开大数据目录二、什么是大数据一、大数据的来源13SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog什么是数据？半结构化/非结构化数据3/13/20124什么是大数据？何为大？—数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes3/13/20126什么是大数据？《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB约等于671部红楼梦1TB约等于631,903部1PB约等于647,068,911部美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB）中国国家图书馆：2631万册 1EB=4000倍美国国会图书馆存储的信息量 600美元的硬盘就可以存储全世界所有的歌曲 MGI估计,全球企业2010年在硬盘上存储了超过7EB(1EB等于10亿GB)的新数据,同时,消费者在PC和笔记本等设备上存储了超过6EB新数据3/13/20127数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务什么是大数据？大数据的解释 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。大数据带来的思维变革更好不是因果关系而是相关关系更多不是随机样本而是全部数据更杂不是精确性而是混杂性大数据带来的思维变革（更多）人口大普查全数据模式随机采样样本模式大数据应用全数据模式是指在国家统一规定的时间内，按照统一的方法、统一的项目、统一的调查表和统一的标准时点，对全国人口普遍地、逐户逐人地进行的一次性调查登记；