大数据发展特点问题及其对策研究.docVIP

大数据发展特点问题及其对策研究 　　摘 要：大数据是体量巨大需要更快、更强的能力处理的信息资产。它的特征是数据数量巨大、数据有多样性、价值真实性高且密度低、处理速度较快。大数据的发展面临新的挑战，可能使得个人隐私泄露，大数据的发展需要更多的模型和计算方法。加强立法活动，加强数据开发，加大对人才培养是大数据发展的策略。 　　关键词：大数据 特点 问题 对策 　　大数据（Big Data）是极其庞大的数据存储资料，因为其数据体量巨大，需要更快、更强的能力才能够处理，使其变成有价值的信息资产。大数据产业具有重要的战略意义，通关对原有数据进行产业加工，挖掘有价值的信息，从而提升企业利润和加强政府管理能力。 　　一、大数据发展的特点和问题 　　1、大数据的4V特征 　　大数据发展是维克托?迈尔?舍恩伯格在《大数据时代》中提出的概念，大数据应该对所有数据进行分析处理，而不是采用单一的抽样调查处理[1]。在业界，通常用4V来形容大数据发展的特点，即是Volume（数据数量巨大）、Variety（数据有多样性）、Value（价值真实性高且密度低）、Velocity（处理速度较快）。大数据数量大，每天产生的数据在不断膨胀，在PB（=1000TB）、EB、ZB级别；数据类型多样性包括图片、视频、位置等；数据虽然特别巨大，但是能够在很短的时间内提取信息。 　　2、大数据的存储特点 　　大数据的数据存储模式通常有三种：第一类是，采用MPP架构新型数据库集群，采用列存储、粗粒度索引等技术，使用MPP架构高效的分布式计算模式，对企业分析类应用数据存储；第二类是，采用Hadoop技术对数据扩展和封装，利用Hadoop衍生的几十种NoSQL技术，对非结构化数据计算，可以有效处理非结构、复杂数据计算，充分挖掘其特点；第三种是采用大数据一体机，专门为大数据分析而开发的服务器，在里面可以对数据有效存储、查询、分析等。大数据主要包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 　　二、大数据发展的问题 　　1、大数据的数据安全面临挑战 　　大数据技术与传统的数据存储不同，它的存储周期为复杂多链条形态，数据共享、交易、存储、挖掘分析等使得数据应用多样化，在信息系统软硬件架构变革的背景下，黑客可能对数据篡改、伪造、重放，控制关键节点，使其成为高数量级僵尸网络。大数据采用开放的分布式存储和计算架构，深层的程序设计复杂，高级持续性威胁APT攻击和大规模分布式拒绝服务DDoS攻击，传统的防御技术无法抵御外界攻击，有的甚至将大数据作为APT攻击的载体，这些新型手段的破坏方式给大数据管理带来了挑战。 　　2、大?稻莘⒄故沟酶鋈艘?私泄露 　　在大数据时代，互联网企业如百度、腾讯、阿里巴巴等企业既是数据的生产者，又是数据的存储、管理、使用者，他们在不同场景对数据收集处理，这很难确保数据不被匿名、隐蔽、清楚个人关键信息。有的企业为了追求利润目的，不同企业之间互相共享客户数据，缺乏有效监管，主要靠企业自律，用户无法确定自己隐私信息的用途。再则，服务商内部人员偷盗售卖个人隐私信息，或者是网络供应商数据被木马、钓鱼网站、病毒等劫持盗用，大数据技术应用使隐私保护和公民权益面临严重威胁。 　　3、大数据的使用和分析的问题 　　由于大数据中数据体量巨大，数据常常以杂乱无序的方式呈现，有效、有价值的数据应该是精确完整、有价值的，在对数据采集与获取以后，需要用到不同的分析过滤技术，将多源数据进行融合计算，对数据源进行自动检测与修复，提高数据源的质量。在对数据分析中，数据建模也是重要核心的方法，由于数据海量式呈现，需要构建众多模型构成的模型库，挖掘出数据背后的共性特征和个性化的差异特征。大数据产生具有动态性和涌现性特点，数据的产生与多少都是不确定的，在分析过程中，需要对这些不确定的问题进行有效配置和弹性地调度，探索动态相应的策略与算法，不断优化和改进，才能够实现数据价值的开发和有效利用。 　　三、大数据发展的对策研究 　　1、加强大数据立法活动，确保大数据信息安全 　　2017年6月1日开始实施的《中华人民共和国网络安全法》明确规定了，“任何个人和组织不得从事非法侵入他人网络、干扰他人网络正常功能、窃取网络数据等危害网络安全的活动；不得提供专门用于从事侵入网络、干扰网络正常功能及防护措施、窃取网络数据等危害网络安全活动的程序、工具”，“网络运营者不得收集与其提供的服务无关的个人信息，不得违反法律、行政法规的规定和双方的约定收集、使用个人信息，并应当依照法律、行政法规的规定和与用户的约定，处理其保存的个人信息”[2]。国家从法律的角度规范了数据收集、存储、使用、删除等行为，应当继续完善个人信息保护