多彩的网络世界.docxVIP

多彩的网络世界 多彩的网络世界 SHANGHAI UNIVERSITY 分数： 课程论文 COURSE PAPER 《多彩的网络世界》 大数据时代 ——对于未来信息技术的思考 指导教师：康丽英 组员:张文组员:高明组员:黄凯组员:贾文组员:彭璋组员:宋为 2021年12月19日 进行大数据分析的人可以轻松地看到大数据的价值潜力，这极大地刺激着他们进一步采集、存储、循环利用我们个人数据的野心。如果说在互联网时代我们的隐私受 到了威胁，那么大数据时代是否会加深这种威胁呢？这就是大数据的不利影响吗？答案是肯定的。大数据还会带来更多的威胁，毕竟，大数据的核心思想就是用规模 剧增来改变现状。 大数据 云计算 因果关系 变革 隐私 大数据（Big Data），普遍认为是指在特定行业中，超出常规处理能力、实时生成、类型多样化的数据集合体，具有海量（V olume ）、快速（Velocity ）、多样（Variety ）和价值（Value ）的4V 特征。 最早提出大数据特征的是2001 年麦塔集团（后被Gartner 公司收购）分析师道格·莱尼（Douglas Laney）发布的《3D 数据管理：控制数据容量、处理速度及数据种类》（3D Data Management: ControllingData Volume, Velocity and Variety），提出了4V 特征中的3V 。最早提出词汇“Big Data”的是2021 年麦肯锡全球研究院发布的《大数据：下一个创新、竞争和生产力的前沿》研究报告。之后，经Gartner 技术炒作曲线和2021 年维克托·舍恩伯格《大数据时代：生活、工作与思维的大变革》的宣传推广，大数据概念开始风靡全球。 一、关于大数据的几个重要观点 大数据发展至今，伴随着很多争议。有人称之为“新瓶装旧酒”， 也有人认为大数据的机遇被过于夸大，企业就是在这种怀疑和忐忑中抓紧推进大数据应用。客观上看，大数据在研究范式、企业战略层面具有变革的潜力，但不宜过于强调其新颖性，不应同过去的数据学科领域割裂开来；21 世纪以来，大数据技术发生了革命性突破，主要体现在对3V 特性的“适应”和“运用”上，目前受益最大的是云计算产业，对其他产业和社会发展的变革作用尚未落地。 有如下几个重要判断和观点： 1、大数据的核心思想本质是数据挖掘。数据挖掘（Data Mining ）借助计算机从海量数据中发现隐含的知识和规律，是一门融合了计算机、统计等领域知识的交叉学科，其核心的人工智能、机器学习、模式识别等理论在上世纪90 时代推行知识管理时已有显著进展。从本质上看，大数据带来的“思维大变革”以及一些数据驱动类的商业智能（Business Intelligence ）模式创新，都是数据挖掘理论的延伸，表达为“数据挖掘相对于数理统计带来的思维变革”或许更加准确。 比如，因果关系是数理统计中的重要内容，基于完善的数学理论，代表是回归模型；而相关关系是数据挖掘中的重要内容，基于强大的机器运算能力，代表是神经网 络、决策树算法，这使得人们不需要了解背后复杂的因果逻辑也可以获得良好的分析和预测结果。从某种程度上说，必须感谢大数据的宣传者，正是这样的热炒才让 数据挖掘这样一门小众却极具价值的科学展现在大众眼前，起到了很好的科普作用。 2、突破主要来自技术上的“能力拓展”。表现在对多样（Variety ）、海量（Volume ）、快速（Velocity ）特征的“适应”和“运用”上：一是存储数据从结构化向半结构化、非结构化拓展，如基于Web 异构环境下的网页、文档、报表、多媒体等，导致了一批基于非结构化数据的专有挖掘算法的产生和发展。二是数据库从关系型向非关系型、分布式拓展，关系型数据库是以行和列的形式组织起来的结构化数据表，如Excel 表格，缺点在于存储容量小、数据扩展性和多样性差，而新的非关系型、分布式数据库可以弥补上述不足。三是数据处理从静态向实时交互拓展，新的大规模分布式并行数据处理技术能够实时处理社交媒体和物联网应用产生的大量交互数据，有效应对多样（Variety ）和海量（Volume ）带来的复杂度和时效性要求。 3、能力拓展直接促成了价值（Value ）的实现。得益于上述技术，数据挖掘理论获得了呈几何倍数增长的数据量和处理能力，原本很多无法验证的设想和方法得以实现。比如，传统BI 分析有一个“集中”步骤，即在分析前需要对大量数据抽取和集中化，形成一个完整的数据仓库，这个步骤往往成为BI 分析全