运用hadoop开源技术推动大数据落地.pptVIP

效果 数据集市[db] -- python -- data.file -- gnuplot + 绘图配置 -- img + data -- mail gnuplot 帮助: /dsectest/dsec_cn/gnuplot/ python 报表邮件实现 实时数据分析展现模型 实时数据电视墙 数据仓库平台演化 数据系统的进化-一代 数据系统的进化-二代 数据系统的进化-三代 卡脖子,无法自己维护。 通过界面查看任务状态 Python快速构建 数据分析模块 ComETL 软件地址: /zhuyeqing/ComETL 1.支持简单工作流 2.支持自动恢复 3.支持自定义驱动 4.支持 Hive Mysql MapReduce 等模式 作者:赵修湘 极少的代码量,几万行吧! 类似系统 Sqoop DataX Oozie ComEtl配置样例 etl_op = {run_mode:day, delay_hours:2, jobs:[{job_name:job1, analysis:[{etl_class_name:ExtractionEtl, step_name:mysql_e_1, db_type:hive, db_coninfo:[{db_ip:0,db_port:3306,db_user:jobs,db_passwd:hhxxttxs,db_db:test}], db_path:test.a2, pre_sql:[], post_sql:[], data_save_type:SimpleOutput, sql_assemble:SimpleAssemble, sql:select * from test.a2 limit 30, },], transform:[{etl_class_name:TransformEtl, step_name:transform1, data_source:[{job_name:job1,step_name:mysql_e_1,data_field:},], data_transform_type:SimpleTransform, },], loading:[{etl_class_name:LoadingEtl, step_name:load1, data_source:{job_name:job1,step_name:transform1}, db_type:mysql, db_coninfo:[{db_ip:0,db_port:3306,db_user:jobs,db_passwd:hhxxttxs,db_db:test}], db_path:test.a2, pre_sql:[], post_sql:[], data_load_type:SplitLoad, data_field:a|b},]} } Pig内嵌JPython 实现PageRank算