基于Hadoop平台大数据应用系统解决方案.docVIP

基于Hadoop平台大数据应用系统解决方案 　　摘要：当前在进行大数据应用过程中存在三方面的问题，分别是大数据的存储、分析和管理的问题，如果不能有效解决这些问题，将会直接影响其发展和应用。下面在总结前人经验的基础上，根据当前研究所得到的成果，提出有效的解决策略，希望给有关人士一些借鉴。 　　关键词：Hadoop平台；大数据；应用系统 　　当前移动电子商务、云计算、互联网得到的快速发展，在整个数据库市场中大数据占据很重要的地位，而且这一趋势还在继续发展，由此可见，基于Hadoop平台的大数据将会得到广泛的推广。大数据具有广度宽、深度深、规模大的特点，而且处理时间短，要求处理效果高，当前在应用中存在一定问题，下面就深入分析这方面的问题。 　　1分析大数据的存储问题和解决方案 　　1.1大数据的存储问题 　　HDFS属于一种分布式文件系统，其中一个文 件以多个block的形式存放在多个Namenode节点上，每个block有多个副本，副本存放的位置根据HDFS放置算法来决定，但是在这方面还要注意，在HDFS中缺省block副本数和大小，但是对于所缺省的参数可以重新进行设置，对于CLIENT文件，可以临时设置两个参数，有效提高了系统的灵活性，在文件中其逻辑处理单元、重要性、大小都不同。由此可见，HDFS可以?Ψ墙峁够?数据进行存储，对数据实施分布式计算，具有较高的性价比，系统运行可靠性比较高，通过增加机器设备，就可以保证系统的存储能力。HDFS文件在读写并行方面存在问题，其已经可以读读并行，但是写读并行、读写并行中会受到制约，对于正在写操作的文件，读用户看不到最后的block内容。 　　1.2相应的解决方案 　　针对HDFS文件在读写并行方面存在问题，技术人员分析了HDFS文件组织方式，其真实数据文件和元数据文件是单独存放的，其中的每个数据块都和本地文件系统相对应，因此在处理这一问题时，先不要改动HDFS的主要接口和主要特点，利用这方面的逻辑处理功能，编号算法等，对不同的HDFS文件进行块集合组合，可以有效解决问题。 　　2 大数据分析过程的问题和解决方案 　　2.1 Hadoop生态系统存在的问题 　　Hadoop生态系统进行数据分析时有其自己的特点，对板结构化的数据、非结构的化的数据比较容易处理，系统拥有很好的容错性和扩展性，该系统的接口类型很多，适应运行环境的异构性，该计算模型可以采用并行方式计算，因此该系统可以得到很好的性能，但是这一系统在相同条件下，和商业并行数据库进行测试对比，其在性能方面存在很大的劣势。 　　2.2有效的解决方案分析 　　为了解决上述的问题，可以从三个方面进行分析，第一点，Hadoop生态系统开始研发时是针对半结构化数据、非结构化数据；第二点，这一生态系统容错性和可扩展性非常好，技术人员在改进时，如果增加节点数量就可以得到很好的性能，因此在使用中不需要在相同条件下和并行数据库进行对比。在增加了节点的数量后，没有必要对SQL接口查询命令进行修改，也没有必要对编程语言进行修改，达到很好的效果。机器使用的是中低端设备，其对性价比没有较大的影响，当前生态系统自身也可以对其问题、性能等进行优化，例如数据的压缩优化、job调度程序优化，体系结构优化等。当前主要有两种解决方式，分别是混合型MapReduce解决方式，其主要吸收了并行数据中的一些特点，还有一种是经典型MapReduce解决方式，主要针对生态系统中的HadoopDB项目和HadoopDB MapRe-duce项目。 　　3大数据管理问题和解决方案 　　3.1分析大数据管理中有待解决的问题 　　一般在大数据管理中都不重视易用性，其中的hadoop也有类似的问题，但是在商业解决方案中技术人员就注意到了这一点，因此在设计中具有针对性，有效解决了这一问题。例如IBM大数据解决方案中，BI-ginsights对相应的集群、作业运行、HDFS文件管理有一个统一的管理模式，管理中系统具有可视化功能，对于大数据解决方案而言，也有赖于内部的集群管理系统。对于一个完整的大数据解决方案而言，必须使用到一体化的管理系统，这一系统在管理中包括很多的项目，例如通过大量机器构成大集群和小集群，具有多种数据来源，涉及到很多作业的运行和部署。在管理中如果只使用手工操作，没有专业的平台和技术工具等，不能保证系统的工作效率，间接也会影响系统的进一步推广。相关企业虽然使用这一生态系统建立了平台，没有一个完整的集群配置平台，在删除节点和增加节点时必须进行手工操作，进行参数配置时主要依靠个人经验，工作中没有可靠的模拟器来帮助。从当前的解决方案中分析，在对Hadoop生态系统大数据管理中，主要应用了Ganglia和Sqoop[1]。 　　3.2分析具体的解决方案