基于Hadoop的测试数据处理系统设计与实现.PDFVIP

基于Hadoop的测试数据处理系统设计与实现 刘有耀，李彬 (西安邮电大学专用集成电路设计中心，陕西西安710061) 搭建实验环境，验证了整个系统的正确性并对分布式格式转换系统进行性能评估。与本地单机相比， 系统在处理海量数据时具有更高的效率及更好的可拓展性。 关键词：半导体测试数据；分布式存储；Hadoop；MapReduce 中图分类号：TP311 文献标识码：A DOI：10．16157／j．issn．0258-7998．2015．07．039 英文引用格式：Liu Bin．The and oftestdata basedon Youyao，Li designimplementationprocessingsystem ofElectronic Application Technique，2015，41(7)：140-143 The and oftestdata basedon designimplementationprocessingsystem Liu Bin Youyao，Li Centerof ofPostsandTelecommunications，Xi’an IntegratedCircuits，Xi’anUniversity (Design AppHcafion-Specific Abstract：This a softwareframeworkformassive data scheme．Basedonthe paperproposesHadoop-based testing processing related of distributed distributedfile and model，it technologyHadoop systemarchitecture，HadoopsystemMapReduceprogramming and the testdatafilestoHDFS mechanismandthetestdataformatconversionbased designedimplementedbinary transport system on set the environmentto thecorrectnessofthewhole anddidthe MapReduce．Finally，itup experimental verify system formatconversion withonenodeconversioninlocal，this has and systemperformanceevaluation．Compared systemhigherefficiency better witIla amountsofdata． expaasibili哆indealing huge words：semiconductor data；distributed Key testing storage；Hadoop；MapReduce 0引言 试数据分布式处理系统。最后搭建实际的测试环境，对 在半导体业日渐成熟的今天，半导体测试已逐渐成 整个系统进行测试，验证了平台的有效性和稳定性，并 为整条产业链中必不可少的重要环节。与此同时，计