大数据漫谈— 数据生态.docxVIP

PAGE 1 PAGE 1 大数据漫谈— 数据生态  “算法经济”：算法交易将会形成一个全球性的市场，世界各地的研究人员、工程师都能在这个市场上创造、共享乃至合成大规模的新算法。届时，算法也将变得像集装箱一样，能够任意组合扩展，从而搭建适用于不同应用的架构。  “算法经济”：算法交易将会形成一个全球性的市场，世界各地的研究人员、工程师都能在这个市场上创造、共享乃至合成大规模的新算法。届时，算法也将变得像集装箱一样，能够任意组合扩展，从而搭建适用于不同应用的架构。  数据和云存储也都遵从摩尔定律：每过两年，世界上的数据量就会翻倍，同时用于存储这些数据的成本则会以同样的速度下降。这些大量的数据使得人们可以创造出更多的产品特征和更好的机器学习模型。  智能商业的世界里，数据为王，而那些能够产生最高质量数据的服务将获得压倒性的优势。正如上文所言：活的、高质量的数据，将更简单生成更好的算法、模型、引擎，进而创造出拥有更好用户体验的数据产品，再吸引到更多高质量的用户数据。换句话说，这不仅仅是反馈闭环，也不仅仅是闭环的效率，这里涉及到一个新的名称—正向反馈闭环。  让我们再次回到工业时代：工业革命的早期，企业为了生产最终的产品，不得不生产这个产品中的每一个部件，有的甚至还得自己解决生产这些部件的能源（蒸汽能，电能）。  而随着工业化进程的发展，企业的分工越来越细化，有人特地解决能源问题，有人特地生产特别部件。在社会分工越来越精细化的全球化过程中以及将来的工业4.0，生产企业甚至只需要依据用户的个性化需求，智能化地选购，组装，配送就能完成将来的工业生产，那将是一个没有预先规划，没有库存的新工业时代。  我们再看看互联网时代、无线互联网时代的软件/App市场：各种各样的个人，即使不向投资人兜售自己的创意和想法，或建立自己的销售，市场和分发渠道，也能够在全球范围内发行和销售软件，最终形成App生态。  为什么不论是在工业时代，还是互联网时代，分工都越来越精细化？  一是因为最终用户所需要的产品越来越复杂，必需有社会分工才能完成；  二是因为每个人，每个企业拥有的资源不一样，拥有的优势技能也不一样。所以大家必需一起分工合作，这样就形成了工业时代的商业经济，互联网时代的App经济。  DT时代也是如此。  DT时代将催化出大数据生态。DT时代的数据生态，我从如下两个方面来定义：  一、数据交换/交易市场  智能商业的基石就是数据，作为智能商业的第一要务，数据是最重要的。  数据作为生产资料，大数据时代的血液，好比汽车的汽油，没有汽油，再精致高端的汽车也无法运转。而数据的来源往往是多方面的，将来一个企业所用到的数据往往不仅仅是自身的数据，甚至是多个渠道交换、整合、购买过来的数据。对于“羊毛出在猪身上”的大数据商业形态，数据一定是流淌的，数据只有整合关联，才能发挥更大的价值。  但是数据要实现交换，交易，正如我上文所言，我们最终所必需解决的是法律法规，数据标准等一系列问题。  二、算法经济/生态  Gartner分析认为，算法将形成一个全球性的交易市场，就像当年的App，催生出全新一代的专业技术初创企业，并且革新机器与机器之间的交互方式。  同时，更多的数据将生成更好的模型和用户体验，进而吸引更多的用户以及更多的数据，而这将导致储存和计算数据的成本持续降低。  Gartner曾发表报告，对算法经济可能带来的市场影响做出评估。  Gartner认为，无可避免地，算法经济将创造一个全新的市场。人们可以对各种算法进行买卖，为当下的公司汇聚大量的额外收入，并催生出全新一代的专业技术初创企业。  想象这样一个市场：数十亿的算法都是可以买卖的，每一个算法代表的是一种软件代码，能解决一个或多个技术难题，或者从物联网的指数级增长中创造一个新的机会。  算法是创造智能应用的基石，是大数据的核心价值。  也就是说，多个机器学习算法可以结合起来成为更强大的算法，从而更好地分析数据，充分挖掘数据里的价值。  在算法经济中，前沿的技术项目，无论是先进的智能助理，还是能够自动计算库存的无人机，最终都将落实成为实实在在的代码，供人们交易和使用。  广义的算法存在于大数据的整个闭环之中，从大数据平台、ETL（数据采集，数据清洗，数据脱敏等）、数据加工、数据产品等的每一个层面都会有算法支持。算法可以直接交易，也可以包装成产品、工具、服务，甚至平台来交易，最终形成大数据生态中的一个重要组成部分。  甚至有人认为好的