大学信息技术—数据分析与可视化实践课件 第1章 1.2 大数据思维与技术.pptxVIP

第1章数据思维大学信息技术3——数据分析与可视化实践

学习目标1.理解数据、信息、知识、智慧之间的区别及联系。2.理解数据思维的本质。3.理解大数据思维的本质。4.了解大数据技术。

目录页contents数据思维概述大数据思维与技术大数据的发展1.11.21.3

1.2大数据思维与技术

目录页contents1.2.1认识大数据1.2.2大数据思维特点1.2.3大数据技术1.2.4习题与实践1234

1.2.1认识大数据大数据思维与技术信息科技经过数十年的发展，数据的影响已经渗入到产业、科研、教育、家庭和社会等各个层面。大数据是我们收集与分析世界所产生的大规模数据的能力。我们对大数据的驾驭能力就是理解世界及其内在一切的能力。对大数据的利用已成为提高核心竞争力的关键因素。大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革。

选题背景及意义ONE1.2.1认识大数据

1.2.1认识大数据数据量爆炸性剧增数据结构日趋复杂数据来源不断丰富，形成了多源异构的数据形态,其中非结构化数据包括全文文本、图像、声音、影视、超媒体等信息所占比例逐年增大。大数据是指无法在一定时间内用常规软件工具对其内容进行提取、管理和加工处理的数据集合大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力TBPBEBZB100%

1.2.1认识大数据大数据的特点体量Volume多样性Variety速度Velocity数据价值Value非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义实时分析而非批量式分析（1秒定律）数据输入、处理与丢弃立竿见影而非事后见效大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等））

1.2.1认识大数据大数据时代的商业变革商业模式是指一个完整的产品、服务和信息流体系，包括每一个参与者和其在其中起到的作用，以及每一个参与者的潜在利益和相应的收益来源和方式。传统的商业智能已经应用了数据仓库、线上分析处理、数据挖掘和数据展现技术，对企业自身的数据进行存储、清理、索引和分析，并能够提供包括客户价值评价、客户满意度评价、服务质量评价、营销效果评价、市场需求评估等各种基于简单统计和关联挖掘的报表以实现商业价值。

1.2.1认识大数据大数据时代的商业变革数据仓库线上分析处理数据挖掘数据展现技术企业自身的数据存储清理索引分析客户价值评价客户满意度评价服务质量评价营销效果评价市场需求评估基于简单统计和关联挖掘的报表传统的商业智能

1.2.1认识大数据大数据时代的商业变革大数据的商业智能应用体系随着大数据技术与应用的发展，商业智能的能力得到了拓展和提升。商业智能使企业各级人员都能进行数据分析，从而加深业务洞察，推动整体行业发展。商业智能借助大数据，AI等技术手段，通过提供行业应用方案体现数据价值。商业智能将与AI、物联网、云计算更加紧密的结合，为企业提供“一站式大数据解决方案”、基于行业和场景的应用服务以及更加便捷的应用模式。

1.2.1认识大数据大数据的三个时代大数据1.0时代追求从数据到分析，从分析到更多更好的数据，再到更深入分析这样的正向循环。大数据2.0时代强调的是数据的外部性。它是指企业用自身业务产生的数据，这些数据不只是对企业内部有价值，还可以去解决主营业务以外的其他问题，获得重大的价值；或者引入非企业自身业务的外部数据，来解决企业自己遇到的问题。大数据3.0时代将带领人们进入真正的大数据时代。个人、团队和企业可以通过数据API接口或付费使用数据产品，数据中心、运营商，大家共同分享数据产品的利益。

1.2.1认识大数据大数据时代的科学变革大数据的价值网页数据检索世界上最新最全的信息方位数据借助导航快速到达目的地生物特征数据进行身份识别认证情绪数据根据快乐与否判断股市的涨跌归结为几类相似的数学模型，“数据科学”成为一门具有普适性的学科。

1.2.1认识大数据大数据时代的科学变革实际上，科学界比产业界更早意识到了大数据的巨大影响，在2008年9月，英国《自然》杂志就推出了名为“大数据”的封面专栏，阐述了数据在数学、物理、生物、工程及社会经济等多学科扮演的愈来愈重要的角色。越来越多、越来越复杂的数据本身，在以数据为准则的研究理念指导下以及愈发强大的计算能力支撑下，驱动着科学研究方法论上的革命。通过数据分析，我们可以在数千万甚至上亿样本的规模下研究宗教问题、民族问题、亚文化问题、信息传播轨迹、经济发展趋势、社会流动性问题等，而这在以前的社会科学中是绝对不可想象的