课题研究报告课案.doc

山西大学商务学院《科研基础训练》 课题研究报告 大数据的科学研究 学生姓名： 张熙 所属班级： 15计科G班 所属组别： 七组 实训时间： 2016年 10月 至 2016年 12 月 目 录 一.引言…………………………………………………………………………………… 1 二.大数据分析的应用和发展前景…………………………………………………… 2 三．科学技术的集成……………………………………………………………………… 3 四.大数据案例分析…………………………………………………………… 4 五．结束语………………………………………………………………………………… 5 大数据的科学研究 学生姓名：张熙 指导老师：赵文娟 摘要：本文基于国家自然科学基金委员会第89期双清论坛“大数据技术与应用中的挑战性科学问题”的研讨内容，分别就大数据获取、大数据存储与管理、大数据传输，大数据处理、分析与计算，以及大数据应用等议题进行了全面综述。在深入研讨大数据技术与应用的国内外发展动态和现状的基础上，凝练出了未来我国在大数据技术与应用领域急需关注和解决的9个重大科学问题，并结合我国具体情况，提出了与开展大数据技术与应用研究相关的若干政策和措施建议。 关键词：大数据 科学研究方法，企业管理，基本应用，科技变革 一．引言 随着云计算、物联网和移动通信技术及其应用的蓬勃发展，产生的数据量不仅以指数级速度增长，数据结构也变得愈加复杂，大大超出了传统数据库的管理能力。大数据问题近年来己成为信息技术产业讨论的焦点，舆论普遍认为该问题将成为信息科学技术领域的重要前沿课题之一。以大容量、高速度、多样化和价值稀缺为特征的大数据，给在数据分析领域扮演重要角色的竞争情报的研究工作带来了前所未有的机遇。 现今社会，随着经济的迅猛发展，越来越多的企业在迅速的崛起，这么多的企业，要想从中脱颖而出，势必需要寻找一种新的途径，于是我们迎来了正处于高速发展的大数据信息通信时代。因此，大数据成为一个至关重要的课题，吸引了大量学者对其进行深入研究，笔者在查阅国内外相关文献的基础上，对大数据的理论研究、大数据的应用研究、大数据时代面临的挑战进行了综合分析，以期展望未来大数据的发展趋势。 二．大数据分析的应用和发展前景 大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。 据统计，2011年全球被创建和复制的数据总量为1.8ZB（10的21次方），其中75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）。传感网和物联网的蓬勃发展是大数据的又一推动力，各个城市的视频监控每时每刻都在采集巨量的流媒体数据。工业设备的监控也是大数据的重要来源。例如，劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控，每年传送PB数量级的数据。 　　大数据科学作为一个新兴的交叉学科方向，其共性理论基础将来自多个不同的学科领域，包括计算机科学、统计学、人工智能、社会科学等。因此，将来推出一个国家科技和产业专项来引导和支持大数据的研究和产业发展，也会对相关学科的领域知识与研究方法论产生推动作用。 数据抽取与集成 多样性是大数据的一个重要特征，它意味着数据来源的广泛与数据类型的复杂，就11是这种多样的数据环境给大数据的处理分析工作带来极大的挑战。在处理大数据的过程中，首先要对数据源进行抽取和集成，并经过关联和聚合后采用统一的结构来存储此类数据。此过程需要对数据进行清洗，保证数据质量及可靠性。数据抽取和集成技术在传统数据库领域已有了较为成熟的研究。随着新型数据源的涌现，数据集成方法也在不断的发展。从数据集成模型来看，现有的数据抽取与集成方式大致可分为：基于物化或ETL方法的引擎、基于联邦数据库或中间件方法的引擎、基于数据流方法的引擎以及基于搜索引擎的方法。 2、数据分析 数据价值的产生取决于数据分析过程的精细程度，这也决定了数据分析在大数据处理流程中的核心地位。分析过程的原始数据来自于异构数据源的抽取和集成，根据不同需求可以从该类数据中有选择型的进行分析处理。传统的分析技术，如数据挖掘、统计分析等在大数据时代已较为落后，并面临着新形势下的挑战：数据量大并不