对大数据的展望.docxVIP

对大数据的展望陈明阳 着计算机、互联网技术的飞速发展，我们的社会不断地产生庞大的数据流。这些数据杂乱而细碎，看似无所关联，但正是这大量的碎片化数据，昭示着我们进入了一个前景无限光明的新数据时代——大数据时代。首先来看看大数据的一般定义。对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。由此可见，大数据并不只局限于一个庞大的数据流量，而是以这个庞大的数据量为基础的一连串处理、分析、利用的过程，其牵扯的学科、行业、技术也十分丰富，像是数学、计算机、经济等。那么，在这看起来十分高大上的大数据技术上有哪些新的应用呢？仓储物流调配调用与货物跟踪售后。这项技术不光用上了大数据技术，也用上了时下流行的物联网技术。这一应用主要是透过对运输记录的分析调配运货频率、数量进行合理化调配，对市场需求量和购买力进行预测，达到最大化净收益。梅西百货的实时定价机制。根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。快餐业的视频分析。该公司通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长，则显示可以快速供给的食物;如果队列较短，则显示那些利润较高但准备时间相对长的食品。Tesco PLC（特易购）和运营效率。这家超市连锁在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析，进行更全面的监控并进行主动的维修以降低整体能耗。智能学习与识别这是一项科幻风味浓厚的应用。其实质是通过对用户信息的分析完成对一类关键词的统一识别。这项应用涉及了人工智能的TOP-TO-DOWN类型，也就是大量数据拟合型。Morton牛排店的品牌认知。当一位顾客开玩笑地通过推特向这家位于芝加哥的牛排连锁店订餐送到纽约Newark机场（他将在一天工作之后抵达该处）时，Morton就开始了自己的社交秀。首先，分析推特数据，发现该顾客是本店的常客，也是推特的常用者。根据客户以往的订单，推测出其所乘的航班，然后派出一位身着燕尾服的侍者为客户提供晚餐。 沃尔玛的搜索。这家零售业寡头为其网站W自行设计了最新的搜索引擎Polaris，利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法，语义搜索技术的运用使得在线购物的完成率提升了10%到15%。“对沃尔玛来说，这就意味着数十亿美元的金额。”Laney说。通过建模和数据拟合实现的未来预测这项技术主要通过概率数学分析和建模完成对将来一定时间范围为内某些事件发生概率进行预测。这项技术虽然不能实现完全的预知未来，但是对减少盲目投资和风险有很大的作用。　　1. Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP公司正在试图收购KXEN。　　2. PredPol Inc.。PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%。　　 3. American Express（美国运通，AmEx）和商业智能。以往，AmEx只能实现事后诸葛式的报告和滞后的预测。“传统的BI已经无法满足业务发展的需要。”Laney认为。于是，AmEx开始构建真正能够预测忠诚度的模型，基于历史交易数据，用115个变量来进行分析预