大数据详细介绍综述.docxVIP

大数据详细介绍综述 大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。 百度百科认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像蚁巢一样的框架来向数十、数百或甚至数千的电脑分配工作。 大数据通常容量巨大，且内容多样化，计量单位一般都是TB甚至EB等级，简单来说，大数据技术就是采集这些信息后进行分析和处理，以获得普通数据中蕴含的更丰富信息。 1PB相当于50%的全中国学术研究图书馆藏书信息内容； 5EB相当于至今全世界人类所讲过的话语； 1YB相当于7000位人类体内的微细胞总和； 1ZB如同全世界海滩上的沙子数量总和。 大量，指大数据量非常大。必须包含尽可能详细的数据才可称为大数据。 种类，体现在数据类型的多样化，除了包括传统的数字、文字，还有更加复杂的语音、图像、视频等。 高速，指大数据必须得到高效、迅速的处理。 价值，指大数据的价值更多地体现在零散数据之间的关联上。 复杂性，体现在大数据所代表的不同信息的混杂程度。 真实性，指与传统的抽样调查相比，大数据反映的内容更加全面、真实。因为他的六大特征的英文名称首字母为五个v一个c,所以大数据的特征又被称作5v一c模型特征。 大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。 大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。 （1）?优化各级政府、主管部门、各级公司企业都将基于大数据分析平台优化其决策。 （2）?带来新的革命，大数据分析能力逐渐加强，传统市场研究行业、证券研究所、产业链咨询机构将逐渐消失。 （3）?对相关行业的颠覆，银行都将基于企业大数据平台开展银行直销业务，同时按照产业链金融服务事业部模式开展业务。 （4）?带来的改变：因大数据系统的出现，所有依赖信息不对称盈利的业务都将消失。 大数据的应用案例： 1、大数据使人民生活更加便利。 2、方便日常出行，利用交通系统的大数据，我们可以预约网约车出行，可以提前了解路况，避免堵车。 3、利用大数据，可以节省用户的购物时间，而且可以通过大数据分析来获取用户的准确需求，达到精准推送的效果。 挑战1：大数据技术的运用仍有困难 数据采集方面：要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，还可与历史数据对照，多角度验证数据的全面性和可信性。 数据存储方面：要达到低成本、低能耗、高可靠性目标，要用到冗余配置、分布化和云计算技术，存储时对数据进行分类，通过过滤和去重，减少存储量，并加入便于检索的标签。 数据处理方面：大数据的复杂性使得难以用传统的方法描述与度量，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态及可能模棱两可的数据中综合信息，并导出可理解的内容。 可视化呈现方面：使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。 挑战2：大数据给信息安全带来新挑战 （1）加大隐私泄露风险，大量数据的集中存储增加了其泄露的风险； 一些敏感数据的所有权和使用权并没有清晰界定。 （2）对现有存储和安防措施提出挑战，复杂的数据存储在一起，可能造成企业安全管理不合规； （3）被运用到攻击手段中，黑客可收集更多有用信息，大数据分析让攻击更精准；大数据为黑客发起攻击提供了更多的机会安全防护手段更新升级慢，存在漏洞。 事情的起因是美国中情局前职员斯诺登向媒体爆料，过去6年间，美国的情报部门通过一个代号为“棱镜”的项目，从多家知名互联网公司获取电子邮件、在线聊天内容、照片、文档、视频等网络私人数据，跟踪用户一举一动。 他说，自己只需要坐在办公桌前，动动指头，敲敲键盘，就能了解很多人的私密信息。 斯诺登的爆料引起一片哗然，根据他提供的资料，被卷入“棱镜门”事件的公司包括微软、雅虎、谷歌、苹果、Facebook等9大IT业巨头。 在“棱镜门”事件开始发酵之后，这些公司先是赶紧出面否认与美国政府的监视项目进行过合作，并相继发表声明，呼吁政府采取更透明态度，以证明他们的“清白”。但是根据此事