大数据--数据科学和数据产业教学文案.pptVIP

大数据、数据科学和数据产业 复旦大学 赵卫东 博士 wdzhao@fudan.edu.cn 议程 大数据应用 大数据的应用领域（1） 医疗卫生 交通出行 大数据应用 大数据的应用领域（2） 公共安全 金融证券 大数据应用 大数据的应用领域（3） 互联网营销 公共设施 大数据应用 大数据的应用领域（4） 农业 制造 大数据应用 大数据的应用领域（5） 电力 数字生活 议程 数据科学 数据学（Dataology）和数据科学（DataScience）是关于数据的科学，定义为研究探索Cyberspace中数据界奥秘的理论、方法和技术。主要有两个内涵：一个是研究数据本身；另一个是为自然科学和社会科学研究提供一种新方法，称为科学研究的数据方法。 数据学和数据科学 数据科学 数据科学在20世纪60年代已被提出，当时并未获得学术界的注意和认可。 1974年彼得.诺尔出版了《计算机方法的简明调查》中将数据科学定义为：“处理数据的科学，一旦数据与其代表事物的关系被建立起来，将为其他领域与科学提供借鉴”。 1996年在日本召开的“数据科学、分类和相关方法”，已经将数据科学作为会议的主题词。 2001年美国统计学教授威廉.s.克利夫兰发表了《数据科学：拓展统计学的技术领域的行动计划》，因此有人认为是克利夫兰首次将数据科学作为一个单独的学科，并把数据科学定义为统计学领域扩展到以数据作为现金计算对象相结合的部分，奠定了数据科学的理论基础。 发展历史 数据科学 在CCF 大数据专家委员 会于2013 年12月发布的《2014 年大数据发展趋势预测》报告中都预测数据科学将作为一门新的交叉学科逐步兴起。甚至类似波色子的发现，数学、生物、物理、化学、材料等领域将在一定程度上依赖数据科学才能取得突破性进展。 目标 数据科学 内涵 数据科学作为一项新的科学，还有很多根本问题没有解决，甚至很多问题还没有被提出。 国家自然科学基金委员会在2014 年组织的未来五年的“十三五”规划中，特别尝试设立了“数据与计算科学”这一专门面向大数据的学科方向，还具体定义该方向是研究数据的感知、收集、传输、管理、分析与应用的交叉性学科，旨在揭示数据的内在规律，探索数据计算理论，实现从数据到知识的转化，为大数据的科学计算以及在重要应用领域的预测、决策与应用提供基础。 数据科学 大数据和数据科学 数据科学基础问题体系本身就是大数据领域的研究热点。 数据科学将带动多学科融合。 数据科学是作为一个与大数据相关的新兴学科出现的，在大数据处理的理论研究方面，新型的概率和统计模型将是主要的研究工具。 谷歌无人驾驶汽车 数据科学 科学研究的第四范式 数据科学 从经验思维到实证思维 大多数人以经验思维为主，判断多而论证少。基于数据的实证更少。 凭经验得出的判断往往难以证明。将经验思维转变为实证思维是通向数据科学时代，通向数据驱动的管理决策的关键步骤。 数据科学 机器翻译 自然语言的机器翻译是人工智能研究的一个重要题目。语言学家不辞劳苦地编撰大型词典和与语法、句法、语义学有关的规则，数十万词汇构成词库，语法规则高达数万条，考虑各种情景、语境，穷举式的做法根本达不到最基本的翻译质量。 1960年代后科学家发现以“模拟人脑”的方式来定义人工智能走入一条死胡同。采用匹配法，同时结合机器学习，依赖于海量的数据及其相关相关统计信息，不管语法和规则，将原文与互联网上的翻译数据对比，找到最相近、引用最频繁的翻译结果做为输出。 计算机“深蓝” 议程 数据产业 大数据产业 大数据是继云计算、物联网、移动互联网之后的又一个具有国家战略意义的新兴产业。如今，大数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素。 大数据产业链的形成：大数据产业包括与大数据的生产与集聚、组织与管理、分析与发现、应用与服务相关的所有活动。数据产业链按照数据价值实现流程，包括生产与集聚层、组织与管理层、分析与发现层、应用与服务层四大层级，每一层都包含相应的IT技术设施、软件与信息服务。 数据产业 大数据的价值产生 数据产业 大数据产业链 根据数据从产生到应用，继而产生新数据的过程，大数据产业形成了一个环形产业链。 从数据产生到应用，参与企业逐渐增多，数据价值逐级增加。环形产业链主要包括以下几个方面：以云计算、物联网、移动互联网等新一代信息技术而不断生产交易数据、交互数据与传感数据的大数据生产活动；以搭建大数据平台、支撑大数据组织与管理的服务器、存储设备、网络设备、数据中心附属设备等IT 基础设施硬件的销售与租赁活动；大数据平台的运维与管理服务，系统集成、数据安全、云存储等解决方案与相关咨询服务；支撑数据分析与发现的嵌入式芯片、服务器、高性能计算设备等IT 基础设施硬件销售与租赁；与大数据应用相关的数据出售与租赁服务、分析与预测服务、决