大数据考浅析.doc

注：考生属哪种类别请划“√” （博士、在校硕士、工程硕士、师资硕士、同等学力、研究生班） √ 辽宁工程技术大学 研 究 生 考 试 试 卷 考试时间： 2015 年 7 月 14 日 考试科目： 考生姓名： 评 卷 人： 考试分数： 注 意 事 项 1、考前研究生将上述项目填写清楚 2、字迹要清楚，保持卷面清洁 3、试题、试卷一齐交监考老师 4、教师将试题、试卷、成绩单，一起送研究生学院； 专业课报所在院、系 大数据及存储技术课程考试题签 大数据的定义、特征及面临的主要问题。 答：最先经历信息爆炸的学科，如天文学和基金学，创造出了大数据这个概念。大数据并非一个确切的概念，尚未有一个确切、统一的定义。目前关于大数据的几个主流定义有：（1）研究机构Gartner的定义，大数据是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。（2）维基百科的定义，大数据是指利用常用软件工具来获取、管理和处理数据所耗时间超过可容忍时间的数据集。麦肯锡的定义，大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合。（4）IDC的定义，大数据一般会涉及两种或两种以上的数据形式，它要收集超过100TB的数据，并且是高速、实时数据流；或者是从小数据开始，但数据每年会增长60%以上。（5）大数据科学家John Rauser提到了一个简单的定义，大数据就是超过了任何一个计算机处理能力的庞大数据量。大数据有四个基本特征：数据规模大（Volume），数据种类多（Variety），数据要求处理速度快（Velocity），数据价值密度低（Value），即所谓的四V特性。这些特性使得大数据区别于传统的数据概念。大数据的概念与海量数据不同，后者只强调数据的量，而大数据不仅用来描述大量的数据，还更进一步指出数据的复杂形式、数据的快速时间特性以及对数据的分析、处理等专业化处理，最终获得有价值信息的能力。大数据面临的问题：大数据已成为继物力和人力资源的另一重要资源，将在社会经济发展过程中发挥不可替代的作用；大数据及相关技术可转化为巨大的社会经济价值，被誉为未来的新石油。大数据在金融、零售、电影等念和行业取得的成功仅是其价值体现的冰山一角。然而，由于大数据的多源异构、复杂多样、变化快等特点，使得大数据时代的数据管理、数据分析 以及信息安全面临着新的挑战。大数据时代下的数据管理机制不同于传统方式。大数据时代下，数据的增长速度远远超过存储空间的增长速度，现有的数据管理方法已不能适用于海量多源异构数据在多种存储设备之间频繁密集流动，不同的应用对于数据传输时效性和完整性的要求也不尽相同。因此需要研发新型存储技术、传输交换机理，以满足大数据时代对数据的海量存储以及数据跨层、跨域、实时和完整的传输需求。大 数据的规模效应冲击着传统的数据分析方法。传统的数据分析方法主要是针对规模较小的结构化数据，且已形成一套行之有效的分析体系。大数据的出现将变革传统的思维方式。大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的方法。第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至处理和某个特别现象相关的所有数据，而不再是依赖于随机采样。第二个转变就是，研究数据之多，以至于我们不再热衷于追求精确度。第三个转变因前两个转变而成，即我们不再热衷于寻找因果关系，而是寻找事物之间的相关关系。另外，由于大数据时代对数据分析实时性的要求，传统的数据分析方法不能直接移植于大数据时代，必须做相应的改变才能适用于大数据的分析与处理。此外，大数据时代信息安全问题逐渐成为各国研究的热点。大数据时代，数据的公开非常必 要，政府可以用其分析和了解整个国民经济社会的运行情况，以便更好地指导社会的运行；企业可以分析和了解客户的行为特征，推出针对性的产品和服务，最大化其利益等。但是，数据的公开和隐私保护是相互冲突的两个方面。虽然大数据时代下隐私保护技术已取得重大成果，比如数据匿名方法和差分隐私保护技术等，但2013年十大信息泄密事件表明现在的隐私保护技术仍不能完全保证信息的安全。如何在保证信息安 全的前提下进行最大化的数据价值挖掘还有很长一段路要走。另外，大数据时代下人才的缺失、大数据的可视化分析以及技术和商业模式的创新也都是我们面对和亟需解决的问题。IT咨询和方案实施、数据处理、分析环节以及综合处理、语音识别、视频识别等。 随着数据的进一步集中和数据量的增大，对海量数据进行安全防护变得更加困难，数据的分布式处理也加大了数据泄露的风险，信息安全正成为制约大数据技术发展的瓶颈。一是大数据成为网络攻击的显著