2017大数据视频教程.pdf

千锋 大数据 视频教程 /video 2017 大数据视频教程 相信一定有人和我一样，只看到标题就看不懂了，什么是大数据泡沫和大数 据价值？完全不懂，不懂别着急，我来慢慢给你讲解，今天就开个专场，只讲大 数据泡沫和大数据价值。 1、大数据泡沫：泡沫是必然但有其深远意义。 数据科学其实已经兴起多年，从早年的专家系统、数据挖掘到前些年的商业 智能，不少大型企业和机构在管理大数据方面积累了丰富的经验，笔者 10 年前 就曾参与过运营商的数据挖掘系统建设，那都是实实在在的大数据，只不过当时 技术手段有限罢了，所以很少人能挖出什么高价值的东西，更谈不上智能化决策 了。但这些年的技术积累和数据积累，却是极大地促进了大数据领域的发展，不 然也没有那么多人认同舍恩伯格教授书中的观点。 甲骨文公司 CEO 埃里森曾说过，高科技是唯一能媲美好莱坞的产业，说明 高科技领域的技术明星也是变换极快的。技术和产品一样，有其发展周期规律， 大数据也只是一种技术手段，最终目的还是要解决现实问题，不管是科研、商业 还是政府管理问题。 关注大数据的人多了，自然就有泡沫，个人认为泡沫主要体现在如下几个方 做真实的自己-用良心做教育 千锋 大数据 视频教程 /video 面：（1 ）这几年社会上关于大数据的宣传，媒体人的引进和炒作，有部分内容是 在误导大家，主要原因还是很多人在盲人摸象，少有系统的研究和理解。 （2 ）只知其然不知其所以然，导致对大数据应用的期望太高，大数据技术 不是万金油，在新的技术泛型和技术生态下，现阶段技术的稳定性、成熟性和有 效性还待进一步发展。 （3 ）关注重点有问题，导致目前的很多大数据应用并未涉及到核心业务和 计算模型，多是数据的采集和存储管理，这也是造成行业整体门槛还不够高，同 质化竞争激烈，没有发挥出应有价值的原因。 大数据泡沫显然是客观存在的，但其长期的应用价值却不容小觑，泡沫不代 表没有价值，就像 2000 年的互联网泡沫，泡沫破灭之后的涅磐，让人类真正跨 入了互联网时代。大数据泡沫的价值就是让全民认识到大数据时代数据分析和数 据决策的重要性，这波泡沫过去，也许我们能正式跨入人工智能时代。 2、大数据价值：需要你自己去定义。 大数据绝不只是数据大，不能光看字面意思。可以说大数据是一套技术体系， 做真实的自己-用良心做教育 千锋 大数据 视频教程 /video 可以说是一种认知挖掘过程，也可以说是一种方法论和管理决策思维。我们要搞 懂大数据的价值，首先绕不开数据挖掘（或更窄的机器学习、或更广义的人工智 能技术）。数据挖掘（Data Mining ），又称为资料探勘、数据采矿，或数据库知 识发现（Knowledge-Discovery in Databases ，KDD)。 数据挖掘一般是指从大量的数据中通过各种算法挖掘隐藏于其中的规律和 有价值信息的过程，通常通过统计方法、机器学习、专家系统、模式识别和在线 分析处理等诸多方法来实现上述目标。现阶段大数据领域注重数据采集、数据存 储、基础计算和可视化等层面，唯独对数据挖掘建模和决策支持这两个硬骨头没 有展开深入研究和对接，这是大数据难以落地的根本原因。 我们大多数人决策其实是靠感觉、个人经验或别人建议，少部分人会亲自对 报表等小数据进行客观数据分析。而大数据为我们提供了一种更加可靠的决策支 持，毕竟数据不会说假话。大数据本身不产生价值，大数据的根本用途是利用大 数据挖掘分析对我们的决策提供规律、知识和经验等科学依据，客观上减少面对 未来决策的不确定性。所以，以业务决策支持为分析目标，大数据不靠大，小数 据也一样有大价值。为什么大数据的价值需要我们自己去定义呢？因为对于未来、 对于未知领域，我们每个人或组织面临的不确定性问题是不一样的，有的偏个体 （如疾病诊断，犯罪预测），有的偏大众（如广告营销、客户细分），有的偏微观 （如基因序列，个性化教育），有的偏宏观（环境监测、天文数据处理），有的关 注资源优化配置（如供需匹配，出行服务），有的关注宏观决策（如政府资产分 析、综合管控）…可以说大数据分析需求无处不在，而又大不相同。这就需要从 自身实际需