.无锡粮食科技信息简报.PDF

无锡粮食科技信息简报 总第二十三期 无锡市粮食局 大数据应用实例科技简报 无锡市粮食局 2014 年5 月 1. 概述 大数据”是继云计算、物联网之后 IT 产业又一次颠覆性的 技术变革。对国家治理模式、对企业的决策、组织和业务流程、 对个人生活方式都将产生巨大的影响。 大数据给整个社会带来巨大变革，就如当初的大航海时代一 样，在未来的几年甚至几十年内，大数据航海时代都将产生难以 估量的影响，也许我们会惊奇的发现，数据将指导一切。 2. 为什么要对大数据进行应用 大数据是新一代信息技术的集中反映，是一个应用驱动性很 强的服务领域，是无法用现有的软件工具提取、存储、搜索、共 享、分析和处理的海量的、复杂的数据集合。因此大数据不是单 纯指 “数字”形式的信息。随着计算机技术、信息技术、网络技 术的迅速发展（主要是云计算和现代网络技术的发展），世界各 地、各行业、各单位每天都产生包括数字、文字、视频、音频等 在内的海量信息，这些海量信息统称为大数据（Big data）。在 大数据的海洋中，利用 “沙里淘金”的技术把有用数据提炼分拣 出来，是大数据应用的重要内容之一。 Mike Jude：从本质上来说，大数据就是曾经被称为数据仓 库的逻辑延伸。顾名思义，大数据就是一个大型的数据仓库，一 般有一个能支持业务决策的业务重点。 1 在典型的数据库中，数据会被组织成标准的字段，并使用特 定的密钥索引。比如，一个顾客记录可以由姓氏、名字、地址和 其它信息组成有通用标签的字段。每个顾客记录样式都是相同的， 这样可以通过使用搜索关键词来检索，比如搜索姓氏。 现在，如果你想链接到这些客户记录需要怎么做?链接到客 户的图片或者视频呢?如果是链接到客户的所有记录呢? 将这么多不同的数据源互相映射，一般的数据库还做不到。 另外，需要链接的数据量是非常巨大的。这就产生了 “大数据” 的概念。大数据使用特殊的数据结构来组织和访问巨大数量的数 据，可能达到多个艾字节的范围。一般情况下，这需要跨多个服 务器和离散数据存储进行并行计算，大数据正逐渐成为云服务提 供商能提供的一种服务，从而把大数据应用推向更多的公司。 但是，还有一个 “大”问题，就是我们为什么需要大数据? 答案就是相关性的价值。如果你能看到乍一看似乎没什么关系的 数据设置之间的关系，你会获取很多重要信息。比如你想知道你 的公司是不是容易被黑客利用。那么你需要跨多个应用程序和数 据中心检查无数条交易。这时如果没有大数据技术和相关的分析 技术，这几乎是不可能完成的。 3. 大数据应用的成功案例 案例1：农夫山泉用大数据卖矿泉水 将自己定位成“大自然搬运工”的农夫山泉，在全国有十多 2 个水源地。农夫山泉把水灌装、配送、上架，一瓶超市售价2 元 的550ml 饮用水，其中3 毛钱花在了运输上。在农夫山泉内部， 有着“搬上搬下，银子哗哗”的说法。如何根据不同的变量因素 来控制自己的物流成本，成为问题的核心。 基于上述场景，SAP 团队和农夫山泉团队开始了场景开发， 他们将很多数据纳入了进来：高速公路的收费、道路等级、天气、 配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的 费用、各地的人力成本、甚至突发性的需求（比如某城市召开一 次大型运动会）。在没有数据实时支撑时，农夫山泉在物流领域 花了很多冤枉钱。比如某个小品相的产品（350ml 饮用水），在 某个城市的销量预测不到位时，公司以往通常的做法是通过大区 间的调运，来弥补终端货源的不足。“华北往华南运，运到半道 的时候，发现华东实际有富余，从华东调运更便宜。但很快发现 对华南的预测有偏差，华北短缺更为严重，华东开始往华北运。 此时如果太湖突发一次污染事件，很可能华东又出现短缺。” 这 种没头苍蝇的状况让农夫山泉头疼不已。在采购、仓储、配送这 条线上，农夫山泉特别希望大数据获取解决三个顽症：首先是解 决生产和销售的不平衡，准确