智能科学与技术导论 课件 第7、8章-自然语言处理及其应用；大数据及其应用.ppt

8.1大数据基本知识 8.1.3大数据关键技术3）大数据存储及管理技术。大数据存储及管理的主要目的是借助某种存储工具或媒介，对采集到的数据进行持久化保存，以便进行有效管理和利用。数据存储一般存放在文件或者数据库中，例如，传统的关系型数据库：Oracle、MySQL；新兴的非关系型的数据库：HBase、Cassandra、Redis；全文检索框架：ES、Solr等。4）大数据分析及挖掘技术。大数据处理的核心就是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。数据分析的常用方法主要有分类、回归分析、聚类、关联规则等，它们分别从不同角度对数据进行分析和挖掘，挖掘出有用的、有价值的信息。5）数据可视化展示技术。大数据可视化展示主要指借助于图形化手段，清晰直观地展示大数据分析与挖掘结果。目前，市场上的数据可视化工具琳琅满目，大多是轻量级可视化产品，如百度公司Echart，Google公司的Chart，以及专门用于地图可视化的Openlayers。针对海量数据可视化，可用产品包括D3.js和Gephi等专门大数据可视化软件。8.1大数据基本知识 8.1.4大数据的影响1.数据是知识的基础数据包括的范畴很广，比如数字、文字、图片和视频是数据，再比如我们平时收发的邮件、工厂设计图纸、医院影像资料是数据；而出土文物上的文字、图示、尺寸、材料等等，也都是数据。这些数据承载了大量的信息，但不是每种信息都是对人们有用的，对人们有用而且能为人们所用的信息才更有意义。数据中隐藏的信息和知识是客观存在的，只有专业人士才能将它们挖掘出来。对数据和信息进行处理后，人们就获得了知识。比如，第谷?布拉赫（TychoBrahe）用毕生精力观测记录了数百颗恒星几十年间每个夜晚的数据，约翰尼斯?开普勒（JohannesKepler）根据这些数据得到了星球的运动轨迹，这是信息。而开普勒根据信息总结归纳出行星运动的三大定律，就是知识。人们使用知识解决问题，指导生产，社会取得进步，这是数据的应用。所以，数据是知识基础，人类文明的基石。8.1大数据基本知识 8.1.4大数据的影响1.数据是知识的基础信息可以是我们人类创造的，也可以是天然存在的客观事实，比如天体的体积和质量，地球上的季节变化。人们认识世界的过程总是沿着现象、数据、信息、知识这一逻辑前行。早期人类获取数据的重要来源是对自然界的观察，从观察中总结数据，这是人和动物重要区别。动物虽然也具有观察能力，但是无法总结出数据。因此，获取和使用数据的能力，成为衡量文明发展水平的重要标志。当人类开始采用语言文字进行记事的时候，数字被人类落实在了结绳、龟甲、竹板、石碑等上面，这就是最初的数据。到了今天，数据的范畴要比单纯的数字大得多。而现代互联网所谓的数据，可以说覆盖到了生产生活的方方面面。人们逐渐发现，当数据量足够多并且具有代表性的情况下，如数据间存在的相关依赖关系，通过几个简单模型的叠加也可以代替一种复杂的模型，从中发现相关性，进而把握事物发展的轨迹。如此向前发展，今天，大数据驱动的智能化已在很多行业中得到了广泛应用。8.1大数据基本知识 8.1.4大数据的影响2.大数据对科学研究的影响图灵奖获得者、著名数据库专家吉姆?格雷（JimGray）观察并总结认为，人类自古以来在科学研究上先后经历了实验科学、理论科学、计算科学和数据科学共四种范式。人类最早的科学研究，主要以记录和描述自然现象为特征，称为“实验科学”。从原始的钻木取火，发展到后来以伽利略为代表的文艺复兴时期的科学发展初级阶段，开启了现代科学之门。8.1大数据基本知识 8.1.4大数据的影响2.大数据对科学研究的影响19世纪末，量子力学和相对论出现，则以理论研究为主，以超凡的头脑思考和复杂的计算超越了实验设计。而随着验证理论的难度和经济投入越来越高，科学研究开始显得力不从心。20世纪中叶，冯?诺依曼提出了现代电子计算机架构，利用电子计算机对科学实验进行模拟仿真的模式得到迅速普及，人们可以对复杂现象通过模拟仿真，推演出越来越多复杂的现象，典型案例如模拟核试验、天气预报等。随着计算机仿真越来越多地取代实验，逐渐成为科研的常规方法，人类的科学研究进入了计算科学范式。21世纪以来，随着互联网的快速发展，数据呈现爆炸式增长，海量数据的出现，不仅超出了普通人的理解和认知能力，也给计算机科学本身带来了巨大的挑战。在大数据环境下，一切以数据为中心，从数据中发现问题、解决问题，从而产生大数据的价值，这就是数据科学范式。第