大数据第2章 大数据行业应用.pptx

目 录; 目 录;第2章 大数据行业应用;第2章 大数据行业应用;;2.1 奥巴马的竞选大数据;2.1 奥巴马的竞选大数据;2.1 奥巴马的竞选大数据;2.1 奥巴马的竞选大数据;2.1 奥巴马的竞选大数据;2.1 奥巴马的竞选大数据;;2.2 大都市的智能交通;2.2 大都市的智能交通;2.2 大都市的智能交通;2.2 大都市的智能交通;2.2 大都市的智能交通;2.2 大都市的智能交通;2.2 大都市的智能交通;2.2 大都市的智能交通;互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;2.3 互联网企业对大数据的运用;互联网竞拍公司eBay;2.4 互联网竞拍公司eBay;2.4.1 超乎寻常的数据产生速度;2.4 互联网竞拍公司eBay;2.4.1 超乎寻常的数据产生速度;而且，并不只有便宜的东西才有比较大的成交量。例如，钻戒每两分钟也会卖出1只，手表每分钟可以卖出3块以上，女式提包则每分钟可以卖出5个以上，甚至连汽车的交易量也能达到每分钟一辆，着实令人惊叹。在eBay的网站上，买卖行为是连续不断产生的，因此，在大数据的3V特征中，可以说Velocity是体现得最显著的一面。 那么eBay对于如此庞大的数据是如何运用的呢？在数据分析已经浸透到企业DNA中的eBay，从市场营销、客户忠诚度提升、财务、客户服务，到对卖家/买家双方体验的改善，这些方面都需要进行数据分析。在这些目的中，最重要的，就是通过用户行为分析来提升用户体验。;经常使用eBay的用户可能会注意到，eBay网站的设计会频繁发生变化，其目的就是为了提升网站访问者的用户体验，也就是说，是为了用户能够更舒服地使用网站而对其设计和用户界面进行优化。David Stone说：“达到这样大的规模之后，哪怕是对菜单和链接的布局进行一点小小的改动，都会大幅影响营业额。”因此，据说对于网站中的一个页面，有时居然会有23名项目经理在负责。如果觉得页面上存在问题，先要提出假设，然后在两周的时间??通过测试等手段进行验证，最后再决定是否要将修改发布到网站上。;为了进行这样的分析，eBay存储了两年内所有用户在网站上的行为历史记录（访问日志），例如，“只是浏览了商品，但没有购买”、“在最终下单之前又取消了”等。过去，eBay只保存用户行为历史数据中的1% ，因此即便进行测试，等到得出结果往往需要两三个月的时间。但现在将100％的数据都保存下来，测试结果只要一周，最快甚至只要半天就能够得出了。;2.4.2 eBay的数据分析基础架构;（3）Hadoop（分布式系统基础架构）：在通用型硬件上搭建的Hadoop集群，用于存储非结构化数据，这些数据是从用户行为记录数据和EDW中选取特定的数据复制过来并存储的，主要用途为文本分析和机器学习，并发用户数只有很少的5~10人左右，但数据量却超过了20PB。 eBay之所以同时准备了三种不同的数据基础架构，是因为考虑到“没有唯一的技术法宝”，也就是说，无论哪种技术都有其长处和短处，仅靠EDW或者仅靠Hadoop都是不行的，只有这三种技术相互结合和补充才是最优的方案。;一些重要的观点是： 第一，通过对用户在网站上的行为记录（访问日志）进行100％的保存（过去是1%），网站测试效率实现了飞跃性的提升。数据分析的对象从原来的抽样数据变成了全部数据，这一点作为运用大数据所产生的效果，是非常具有说服力的。;第二，任何技术都有长处和短处。eBay自身对各种技术的特点进行了评测，并对每种技术的用途进行了理性的判断。例如，要满足500个并发用户访问，必须使用传统的数据仓库；相对地，对非结构化数据的存储，传统的数据仓库又很困难，而Hadoop则是最合适的选择。如今，在大企业中，数据仓库的应用越来越广泛，考虑构建Hadoop集群的企业也将越来越多，eBay的处理方式值得大家参考。;;2.5 游戏分析公司Zynga;2.5 游戏分析公司Zynga;2.5 游戏分析公司Zynga;2.5.1 社交游戏经济的重要指标;（3）玩家人均收益：即平均每位玩家所带来的预期收益。这个指标代表玩家的生命周期价值，是由每月营业额和退出率计算出来的。拿付费玩家超过1000万人的Zynga来说，即便玩家人均收益只是从4美元增加到5美元，这1美元的增长对总收益也会带来1000万美元（约合人民币6300万元）的巨大影响。 通过分析社交游戏的商业模式