大数据发展趋势与生态分析 .pptx

大数据发展趋势与生态分析 数据来自四面八方随着计算设备变得更小更快捷,数年来，新数据生成器的数量只增不减 | page Image: – 社交网络分析IT 基础设施和网络应用程序优化法规审查和文件归档交通流量优化个人推荐引擎情报搜集数据科学家的需求无处不在…基于位置的跟踪与服务油气勘探业务规划的天气预报医疗保健结果个性化保险客户流失分析欺诈检测生命科学研究设备监控定价分析智能仪表监测广告分析Photo credit: Flickr未来各行业的竞争，包括保险业，是对真正深入理解洞察客户、极值化高贡献潜力价值客户满意度、以及一人一客的完全个体化产品服务生产及价格的竞争。——马云这只有借力大数据及分析能够做到。从现在开始，居安思危，着手构建大数据平台及能力，方能在不远的将来免于被新型融合体系（例如互联网保险）、业内创新弄潮儿（例如平安及国外Oscar）赶超甚至颠覆的厄运。我们正处在充满生命力的数字金融时代数字化时代迅速发展，为企业与客户之间的互动创造了全新机会，大量的数字化交易和沟通的普及极大地推进了社会商业活动。2013年，总价值达1670亿元的产品与服务在手机上售出，年复合增长率达60%。到2020年，中国的数字式宇宙将达到9000艾字节，但对商业决策有用的则不到30%。2013年，移动支付达1.3万亿元，市场竞争激烈，颠覆了内地传统的银行模式。大数据移动支付移动商务物联网2013年，商品交易总额达9.9万亿元，中国将在12个月内超越美国，成为全球最大的移动商务市场。 到2017年，将形成4.77亿个M2M模块，使智能设备走处当前“无声”物品的状态电子商务中国数字化大趋势移动营销移动互联网到2017年，移动广告市场预计可达到260亿元，成为增长最快的广告板块。 81%的上网方式是通过手机，使其成为连接互联网的主要渠道。2013年有4.16亿智能手机用户，超过美国总人口书。58%的中国消费者愿意分享其个人数据来换取优惠。社交媒体超过六亿社交媒体用户 － 正积极与品牌互动 隐私智能手机使用“大数据” 的现实企业已经听到建立大数据平台，希望通过大数据的能力建设为传统的数据仓库带来新的气息。 当分析成为我们的生产力， 如何定义业务的价值和数据变现的商用模式成为我们的挑战。6数据是新“石油”数据广泛存在，但需要通过挖掘来增加其价值。但是，不同于石油，数据永远不会成为一种稀缺资源，因为它以指数速率保持增长。可以提炼最大化价值科技使其更容易获得广泛存在但仍很难获得寻求价值丰富的接缝燃料经济性燃料产业深入挖掘来发现Photo credit: Nigel Homes 2012大数据与先进分析将从描述和诊断性向预测、规范与自主决策型转变回顾过去前瞻性 自主与持续性分析规范性分析监测、决策和实行自主或半自主化（如何适应于改变？）预测性分析基于过去预测未来产出 （可以发生什么？）建议“正确”或最佳的行动或决策（应该做什么？）诊断性分析基于持续性的监测结果基于环境改变与改良预测动态调整战略动态模拟模式，时间序列分析描述性分析描述、汇总与分析历史数据（发生了什么？）观察客户行为非传统性数据资源例如社群聆听与网络爬虫对现有及未来客户价值具有前瞻性 观点得分图表分析与NLP来识别隐藏的关系与主题双重目标模型行为经济学识别趋势发展原因与成果（为什么会发生？）观察客户行为非传统性数据资源例如社群聆听与网络爬虫实时产品与服务（图表分析、数据实体解析来推断现有客户需求)快速评估多种“假设分析”场景决策与行动最优化增加业务价值 先进的分析包括AI – 机器学习、深层学习、NLP与基于主体的新一代认知大数据系统 越来越复杂的数据与分析大数据技术趋势 1: 完全的数据分析能力, R 语言成为更多选项传统BI的分析方法已无法满足大数据应用的要求，厂商迫切需要为自己产品增强高级数据分析的能力以保持在大数据时代的竞争力R的开源特性和Hadoop天生相合，并且支持多种统计挖掘算法，倍受业界关注Oracle Exalytics, HP Vertica等均支持R语言 开源R和商用数据分析软件SAS,SPSS相比待解决的问题不仅是Hadoop商用分析MPP也强调对R语言的支持，部分更是可分布式的库内挖掘。数据处理性能不足导致了数据探索和抽样分析的限制开源版本的开放性导致了结果的精确度难以被权威公认。R和SPARK结合的SPARK R是最具潜力的RHadoop支持RMR,R on HDFS以及R on HBASETeradata于2014年公布了在Aster Data上的商业版Aster Data R开发易用性的不足提高了数据分析师的使用门槛支持算法的丰富度可视化以及易用性不如商业数据分析软件如SAS大数据技术趋势 2: 内存计算是数据处理加速器在数据仓库时代大部分企业困扰于BI