掘金大数据.ppt

* 掘金大数据 研究院自动化所 李维刚 引 言 继云计算之后，大数据成为时代最为前沿的话题。 目录 3 1 如何认识大数据 如何应对大数据 3 2 facebook 社交网络 微博 淘宝、ebay 电子商务 … 手机、Apps 移动互联 … 大数据是如何产生的？ 移动互联网、社交网络、电子商务等极大拓展了互联网的边界和应用范围 * GB TB PB EB ZB 想驾驭这庞大的数据，我们必须了解大数据的特征。 地球上至今总共的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！ 1PB = 2^50字节 1EB = 2^60字节 1ZB = 2^70字节 大数据时代的爆炸增长 * “大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。 Volume Velocity Value Variety 大数据的4V特征 * 大数据 = 海量数据 + 复杂类型的数据 海量交易数据： 企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。 大数据包括： 交易数据和交互数据集在内的所有数据集 海量交互数据： 源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。 海量数据处理： 大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。 大数据的构成 商业模式驱动 应用需求驱动 蓝蓝的天上白云飘，白云下面数据跑 云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。 通过大数据的业务需求，为云计算的落地找到了实际应用 大数据与云计算的差别？ * 大数据不仅仅是“大” 多大？ 至少PB级 比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值 * 软件是大数据的引擎 和数据中心（Data Center） 一样，软件是大数据的驱动力，软件改变世界 * 大数据生态：软件是引擎 大数据的市场空间有多大？ 数据成为资产，像货币和黄金一样，21世界的原油 全球未来5年58%的增速，2017年达到500亿美元； 中国2013年增速为138%，2016年市场到达100亿 大数据的应用案例 案例1：精准营销决胜互联网 案例2：Google预测流感趋势 * 应用可能性 电信 政府（公共事业） 交通 金融 医疗 教育 能源（电力/石油） 纵轴契合度： 表示该用户的IT应用特点与大数据特性的契合程度； 横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性； 注： 该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值 High Mid Low Low Mid High 优先关注行业用户 应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。 值得关注行业用户 应有特点与大数据的契合度及应用可能性综合较高 适当关注行业用户 两个维度暂时都不具备优势，可适当给予关注 互联网（电子商务） 契合度 流通 零售 制造 哪些行业适合应用大数据？ 目录 3 2 如何应对大数据（政府、企业、个人） 如何认识大数据 3 1 奥巴马政府出台“大数据”研发计划，投入2亿美元 中国召开第1个以大数据为主题的香山科学会议，成立专家委员会，中关村启动3只大数据产业投资基金 政府以国家策略应对大数据时代 太空中的大数据对决 GPS vs. 北斗二号 IBM、微软、甲骨文、英特尔等企业加紧步伐 企业在大数据领域加紧布局 百度、新浪、阿里、腾讯等互联网巨头掘金大数据 个人如何应对大数据时代？ 手机与社交网络从时空和社会情境两个维度对我们进 行了双重锁定。你是不是一条狗，网络比你更知道。 社交网络让我们越来越多地从数据中观察到人类社会 的复杂行为。 PC互联网 移动互联网 大数据给整个社会带来巨大变革，就如当初的大航海时代一样，在未来的几年甚至几十年内，大数据航海时代都将产