shell和awk的大数据处理.docVIP

shell和awk的大数据处理效率 遇到问题 在工作中遇到一个生成一个规则数据文本的需求，鉴于脚本的简单，用shell脚本实现了一个版本。不过运行时，发现效率非常低，查找原因时，发现shell并不适合大数据的循环处理。随后，改用awk实现，发现效率提高很多。 比较脚本代码 不多絮言，如下是两个版本的对比： SHELL脚本实现数据处理function create_one_file_sh { start_tm=`date +%s.%N` echo start_tm:$start_tm for((min=1;min=$total_num;min++)) do array=`printf 00%.10d01234567890987654321 $RANDOM` # echo $array array_dst=`printf 13%.5d%.4d $RANDOM $RANDOM` array_src=1065812345000+$RANDOM; array_fee=1065867895000+$RANDOM; cur_num=10; report_flag=0 ; expire=201211072430591234567 ; dst_id=360006; smscg_id=370005; cstore=c01; match_id= now_time=`date +%Y-%m-%d:%H:%M:%S` str=`printf %s|%s|1|0|2000|123456678900123|908889|%s|%s|10|1|201211072430591234567|001|360005|378695|%.5d|%s|%d|yulili_bulkloadtype|%s|%s $array $array_dst $array_src $array_fee $RANDOM $now_time $min $match_id,$cstore` echo $str $mt_file; done end_tm=`date +%s.%N` echo ent_tm:$end_tm } AWK脚本实现数据处理: function create_one_file { start_tm=`date +%s.%N` echo start_tm:$start_tm awk -v total_numa=$total_num -v mt_file=$mt_file BEGIN{ for(min=0;mintotal_numa;min++){ array=sprintf(%.2d%.10d%.10d%.9d,first_num, ran, sec,i); array_dst=sprintf(13%.5d%.4d, rand()*100000, rand()*10000);; array_src=1065812345000+int(rand()*10000); array_fee=1065867895000+int(rand()*10000); cur_num=10; report_flag=0 ; expire=201211072430591234567 ; dst_id=360006; smscg_id=370005; cstore=c01; str=sprintf(%s|%s|