万字长文全面解析大数据思维的十大原理.pdf

万字长文全面解析大数据思维的十大原理 大数据思维原理是什么 ？笔者概括为10项原理。 一、数据核心原理:从“流程”核心转变为“数据”核心 大数据时代 ， 算模式也发生了转变 ，从“流程”核心转变为“数据”核心。Hadoo p体系的分布式 算 框架已经是“数据”为核心的范式。非结构化数据及分析需求 ，将改变IT 系统的升级方式 ：从简单增 量到架构变化。大数据下的新思维—— 算模式的转变。 例如 ：IBM将使用以数据为中心的设 ，目的是降低在超级 算机之间进行大量数据交换的必要性 。大数据下 ，云 算找到了破茧重生的机会 ，在存储和 算上都体现了数据为核心的理念。大数据 和云 算的关系 ：云 算为大数据提供了有力的工具和途径 ，大数据为云 算提供了很有价值的用 武之地。而大数据比云 算更为落地 ，可有效利用已大量建设的云 算资源 ，最后加以利用。 科学进步越来越多地由数据来推动 ，海量数据给数据分析既带来了机遇 ，也构成了新的挑战。大数 据往往是利用众多技术和方法 ，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带 来的挑战 ，我们需要新的统 思路和 算方法。 说明 ：用数据核心思维方式思考问题 ，解决问题。以数据为核心 ，反映了当下IT 产业的变革 ，数据 成为人工智能的基础 ，也成为智能化的基础 ，数据比流程更重要 ，数据库、记录数据库 ，都可开发 出深层次信息。云 算机可以从数据库、记录数据库中搜索出你是谁 ，你需要什么 ，从而推荐给你 需要的信息。 二、数据价值原理:由功能是价值转变为数据是价值 大数据真正有意思的是数据变得在线了 ，这个恰恰是互联网的特点。非互联网时期的产品 ，功能一 定是它的价值 ，今天互联网的产品 ，数据一定是它的价值。 例如 ：大数据的真正价值在于创造 ，在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能 量的煤矿 ，煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类 ，而露天煤矿、深山煤矿的挖掘成本 又不一样。与此类似 ，大数据并不在“大” ，而在于“有用” ，价值含量、挖掘成本比数量更为重要。不 管大数据的核心价值是不是预测 ，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和 声誉。 数据能告诉我们 ，每一个客户的消费倾向 ，他们想要什么 ，喜欢什么 ，每个人的需求有哪些区别 ， 哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加 ，以至于我们能够实现从量变到 质变的过程。举例来说 ，这里有一张照片 ，照片里的人在骑马 ，这张照片每一分钟 ，每一秒都要拍 一张 ，但随着处理速度越来越快 ，从1分钟一张到1秒钟1张 ，突然到1秒钟10张后 ，就产生了电影。 当数量的增长实现质变时 ，就从照片变成了一部电影。 美国有一家创新企业Decide.co m 它可以帮助人们做购买决策 ，告诉消费者什么时候买什么产品 ，什么时候买最便宜 ，预测产品的价 格趋势 ，这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿 的数据 ，然后 帮助数以十万 的用户省钱 ，为他们的采购找到最好的时间 ，降低交易成本 ，为终端的消费者带去 更多价值。 在这类模式下 ，尽管一些零售商的利润会进一步受挤压 ，但从商业本质上来讲 ，可以把钱更多地放 回到消费者的口袋里 ，让购物变得更理性 ，这是依靠大数据催生出的一项全新产业。这家为数以十 万 的客户省钱的公司 ，在几个星期前 ，被eBay以高价收购。 再举一个例子 ，SW IFT 是全球最大的支付平台 ，在该平台上的每一笔交易都可以进行大数据的分析 ,他们可以预测一个经济体的健康性和增长性。比如 ，该公司现在为全球性客户提供经济指数 ，这又 是一个大数据服务。,定制化服务的关键是数据。 《大数据时代》的作者维克托·迈尔·舍恩伯格认为 ，大量的数据能够让传统行业更好地了解客户需求 ，提供个性化的服务。 说明 ：用数据价值思维方式思考问题 ，解决问题。信息总量的变化导致了信息形态的变化 ，量变引 发了质变 ，最先经历信息爆炸的学科 ，如天文学和基因学 ，创造出了“大数据”这个概念。如今 ，这 个概念几乎应用到了所有人类致力于发展的领域中。从功能为价值转变为数据为价值 ，说明数据和 大数据的价值在扩大 ，数据为“王”的时代出现了。数据被解释是信息 ，信息常识化是知识 ，所以说 数据解释、数据分析能产生价值。 三、全样本原理:从抽样转变为需要全部数据样本 需要全部数据样本而不是抽样 ，你不知道的事情比你知道的事情更重要 ，但如果现在数据足够多 ， 它会让人能够看得见、摸得着规律。数据这