大数据技术与应用课程报告.pptx

大数据技术与应用课程报告-目录目录01Content大数据技术与应用课程报告重庆移通学院大数据与计算机科学学院《大数据技术与应用》课程报告评分表学生姓名：张红旺学号：2022231518PART1目录目录一、选题意义 1二、研究现状 1三、学习内容 2(一)大数据概述 2(二)Hadoop的特性 2(三)分布式文件系统HDFS 3(四)分布式数据库HBase 3(五)NoSQL数据库 4(六)云数据库 4目录(七)MapReduce 4(八)数据仓库Hive 5(九)Spark 5(十)流计算 5四、学习体会及总结 6目录一、选题意义目前，大数据技术已经应用到各行各业，在提高人类信息化处理中发挥着基础的作用

大数据技术可以帮助企业和政府更好地了解市场需求、消费者行为和趋势等信息，从而提升经济效益

通过分析大数据，企业可以做出更准确的决策，优化生产和运营过程，提高产品质量和服务水平，提升竞争力

也可以帮助政府更好地了解社会问题和民生需求，优化资源配置，提升公共服务效率

通过分析大数据，政府可以更好地制定政策，改善城市交通、环境、医疗等方面的问题，提升社会治理水平，提高居民生活质量

大数据技术可以帮助科学家更好地收集、分析和处理海量的科学数据，加快科学研究进程目录通过分析大数据，科学家可以发现新的规律和关联，推动科学发展，解决社会面临的重大问题，促进人类文明进步

大数据技术与应用可以为个人提供更加个性化和智能化的服务

例如，通过分析个人的兴趣、偏好和行为，推荐个性化的商品和内容

通过分析个人的健康数据，提供个性化的健康管理和医疗建议

通过分析个人的学习情况，提供个性化的教育和培训

总之，大数据技术和应用的选题意义在于提升经济效益、改善社会治理、推动科学发展和提供个人化服务，对于实现可持续发展和提高人民生活水平具有重要意义

通过《大数据技术与应用》这一课程，我掌握了对云计算的基本知识，云计算技术，云计算原理，云计算平台和云计算平台服务类型作了解，掌握了云计算体系结构，让我们对其未来发展感兴趣，能够用更多的技术来改变未来计算机资源的使用方式目录二、研究现状21世纪初，兴起的Web2.0迎来了网络发展的新高峰

网站或业务系统处理的业务量正在快速增长，例如在线视频或照片共享

这类网站需要为用户存储和处理大量数据

这些系统面临的重要问题是如何随着用户数量的快速增长而快速扩展原有系统

随着移动终端的智能化和移动宽带网络的普及，越来越多的移动设备将进入互联网，这意味着与移动终端相关的IT系统将承担更多的负载，这对于提供数据服务的企业来说更为重要，IT系统需要处理更多的业务

由于资源有限，各种设施的电力成本、空间成本和维护成本都在迅速上升，这就面临着如何有效利用这些资源以及如何用更少的资源来解决更多的问题

与此同时，随着高速网络连接的衍生，芯片和磁盘驱动器产品的功能得到增强，价格也变得甜蜜而便宜目录拥有数百台计算机的数据中心还能够为大量用户快速处理复杂问题数据存储的快速增长产生了以GFS(谷歌文件系统)和San(存储区域网络)为代表的高性能存储技术所有这些技术使生产更强大的计算能力和服务成为可能XXXXXXXXXX技术上，随着分布式计算的日益成熟和应用，特别是网格计算的发展，分散的硬件、软件和信息资源通过互联网连接成一个巨大的整体，使人们能够利用分散的资源来完成大规模复杂的计算和数据处理任务日益增长的服务器集成需求推动了虚拟化技术的进步，如Xen、web2.0的实现、SaaS(软件即服务)的概念方兴未艾以及多核技术的普及目录三、学习内容大数据是指由于数据量过大、速度过快或数据类型多样等原因，无法使用传统数据处理方法处理的数据集合

大数据具有五个特点，即数据量大、速度快、多样性、价值密度低和数据质量不确定

了解这些特点有助于我们理解大数据的挑战和应对策略

大数据技术的应用广泛，包括金融、医疗、交通、电商等各个领域

我们学习了一些实际案例，如互联网公司的用户行为分析、金融公司的风险管理等

为了处理大数据，我们学习了一些常用的大数据处理技术，如分布式存储系统(Hadoop、Spark)、分布式计算框架(MapReduce)、数据挖掘和机器学习算法等

(1)Hadoop的特性目录Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性高可靠性：冗余数据存储方式高效性：采用分布式存储和分布式处理两大核心技术高可扩展性：高校稳定运行在计算机集群上高容错性：采用数据冗余存储方式，自动保存数据的多个副本成本低运行在Linux平台上：Hadoop是基于java开发的，可以较好的运行在Linux操作系统上