云平台存储系统的性能优化研究.pptxVIP

云平台存储系统的性能优化研究 云平台存储系统的性能优化研究 本课题来自于实习期间所参与的项目——安检机项目。在此项目中，本人与团队负责搭建用于存储安检机设备数据的云平台存储系统，包括集群的搭建，数据的获取、传输与接收，数据的简单分析与展示。 本课题主要是对云平台存储系统的传输和存储性能的优化研究与改进，从而提升整个集群的运作效率。 重庆邮电大学 目录 大数据时代 如今，数据伴随着我们生活中的一切。交通运输、网上购物、智能家居都伴随大量的数据产生与交互。随着“数据驱动”的时代到来，各种各样的海量数据在物与物，物与人以及人与人之间互相传递。 这些数据有着大致的一些特性：数据信息量大、高并发和非结构化。然而，信息的价值在于其实时性，过时的信息也许可能一文不值。因此，在处理这些数据时，效率问题也就随之产生。 云平台存储系统的性能优化研究 课题目的及意义 课题目的 本课题主要是从数据的传输机制入手，对数据传输机制进行研究与优化。从而提升文件的传输与存储效率，提升整个平台集群的运作性能。 云平台存储系统的性能优化研究 课题目的及意义 Hadoop/HBase 集群各部分简介 云平台存储系统的性能优化研究 Riak erlang Hadoop，一个由Apache基金会所开发的分布式系统基础架构，是一个能够对大量数据进行分布式处理的软件框架， 它可以一种可靠、高效、可伸缩的方式进行数据处理。 HBase，一个分布式的，基于Hadoop的NoSQL。其构想来自于Google论文“Bigtable”。它是面向列存储的，适合存储非结构性数据。 Riak，一个由erlang编写的高可扩展的分布式数据库，以Key-Value键值对的形式存储，支持原生的erlang界面对其进行操作。 erlang，一个面向并发的函数式编程语言，由爱立信实验室开发。其最为突出的特性就是支持分布式，支持高并发。 集群架构 云平台存储系统的性能优化研究 云平台存储系统架构图 云平台存储系统的性能优化研究 Hadoop集群搭建 操作系统：Ubuntu 14.04.2 LTS Hadoop版本号：Hadoop 2.6.5 在这里由于实验条件的限制，采用的是Hadoop伪分布式集群，及各个节点均运行在同一机器上。该机器既是namenode，也是datanode。 云平台存储系统的性能优化研究 HBase搭建 HBase版本号：HBase 0.98.23-hadoop2 我们可以通过Web查看HBase的相关状态，也可以通过其自带的shell向数据库中插入数据。 云平台存储系统的性能优化研究 Riak搭建 Riak版本号：riak 2.2.0 通过将其他节点加入设定的初始节点，可以将分布在不同机器上的Riak节点连接起来，构成一个Hash环。 03 MapReduce思路 云平台存储系统的性能优化研究 MapReduce是hadoop的核心组件之一，hadoop分布式包括两部分，一部分是分布式文件系统hdfs，一部分是分布式计算框，也就是MapReduce，缺一不可。也就是说，可以通过MapReduce很容易在hadoop平台上进行分布式的计算编程。 不过，一样重要的是，Mapreduce也是一种编程模型，是一种编程方法，抽象理论。 merge reduce reduce part0 part1 03 并发式编程 云平台存储系统的性能优化研究 大数据时代，数据的一大特点就是并发量大。也就是说，几乎是在同一时间，或者是在很短的时间间隔内，就会有大量的数据从不同的数据源传入，传统的顺序编程当然是无法满足这一需求。 而在对文件的操作上，在对一定数量的文件进行操作和计算时，并发式编程的效率也要高出很多。 多进程 多线程 数据共享与同步 数据共享复杂，需要用IPC；数据是分开的，同步简单 因为共享进程数据，数据共享简单，但也是因为这个原因导致同步复杂 内存与CPU 占用内存多，切换复杂，CPU利用率低 占用内存少，切换简单，CPU利用率高 创建销毁与切换 创建销毁、切换复杂，速度慢 创建销毁、切换简单，速度很快 编程和调试 编程简单，调试简单 编程复杂，调试复杂 可靠性 进程间不会互相影响 一个线程挂掉将导致整个进程挂掉 分布式 适应于多核、多机分布式；如 果一台机器不够，扩展到多台 机器比较简单 适应于多核分布式 03 erlang 云平台存储系统的性能优化研究 作为一款函数式语言，erlang的最大特性在于它可以很好地应对大并发环境。 由于erlang的自身特点，通过spawn函数可以很轻松的创建一个轻量级的进程