【广发基金—陆志明】互联网时代大数据投资及产品化应用.pptx

互联网时代大数据投资及产品化应用 目 录 一.大数据及其在投资应用 二.百发100指数编制特点 三.百发100指数数据特征 目录 CONTENTS 目 录 一.大数据及其在投资应用 二.百发100指数编制特点 三.百发100指数数据特征 目录 CONTENTS 1、身边的大数据 《纸牌屋》——Netflix并不是任何一个电视台，而是电视台和电影院的平台，是北美最大的付费订阅视频网站。基于其3000万北美用户观看视频时留下的行为数据，预测出凯文·史派西、大卫·芬奇和“BBC出品”三种元素结合在一起的电视剧产品将会大火特火 。此外，Netflix还通过“大数据”观测到另一流行趋势：越来越多的人不再像30年前那样，在固定晚上的固定时刻守在电视机前，等着收看电视剧的最新剧集，而是“攒”起来，直到整季剧情全部播放完毕之后，才选一个自己方便的时间段和地点，在方便的设备（多数是网络设备，如电脑、iPad）上一次性观看。 2、身边的大数据（续1） 飓风与蛋挞——通过对历史交易记录这个庞大数据库进行观察，沃尔玛注意到，每当季节性飓风来临之前，不仅手电筒销量增加，而且美式早餐含糖零食蛋挞销量也增加了。因此每当季节性飓风来临时，沃尔玛就会把蛋挞与飓风用品摆放在一起，从而增加销量。 Farecast——是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。最初预测系统建立在41天之内的12000个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过2000亿条飞行记录。系统只推测机票的价格何时最便宜，不关心是什么原因导致的价格下降。 3、身边的大数据（续2） 在高考之前，为了帮助考生更好地复习准备，百度大数据部为考生预测出2014年高考作文的六大命题方向，包括“时间的馈赠”、“生命的多彩”、“民族的变迁”、“教育的思辨”、“心灵的坚守”和“发展的困惑”等，其中每个作文主题又划定多个作文关键词。 从刚刚落幕的高考语文考试来看，百度高考作文预测命中了全国18卷中12卷作文方向，被网友堪称“神预测”。以上海市为例，2014年上海卷高考作文题为“自由与不自由”，在百度大数据预测的出题概率第二大作文主题“生命的多彩”中，恰好命中作文关键词“自由”。 4、大数据构成 大数据 = 海量数据 + 复杂类型的数据 海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。 大数据包括： 交易数据和交互数据集在内的所有数据集 海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。 海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。 5、大数据构成（续） 大数据来源——用户在线的每一次点击，每一次评论，每一个视频点播，也是大数据的重要来源。互联网企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记录和分析。 人类产生的数据量正在呈指数级增长，大约每两年翻一番；这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴。 大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长；数据量级TB-PB-EB-ZB 6、大数据量级 Google 公司通过大规模集群和MapReduce 软件，每个月处理的数据量超过400PB 百度 每天大约要处理几十PB数据，大多要实时处理，如微博、团购、秒杀 Facebook 注册用户超过8.5亿，每月上传10亿照片，每天生成300TB日志数据 Yahoo! Hadoop云计算平台有34个集群，超过3万台机器，总存储容量超过100PB 淘宝网 有3.7亿会员，在线商品8.8亿，每天交易数千万，产生约20TB数据 7、结构化 VS.非结构化 实际上，大数据，不管你关注不关注,它都在那里,只不过随着互联网的普及和大数据计算性能的提升,使得我们过去不关注的逐渐走入走到到我们的眼前。 过去可分析的数据大都是结构化的数据，而随着互联网的普及和信息技术水平的提升，一些非结构化的信息可以被更加容易的采集、整理和分析。 这些非结构化的数据往往比传统结构化的数据更具有价值。 8、传统投资 VS.大数据投资 传统投资方法有三种，一是基于基本面的价值投资，一种是基于技术分析的趋势投资，