ETL调度细节说明.ppt

从兴BI研发部 从兴BI研发部 从兴BI研发部 BI系统调度运行细节说明 —BI培训 * 从兴BI研发部 第*页 调度程序参数概述 调度系统由schedmanager和schedserv共同组成，两个程序都有各自的ini配置参数，通过修改相应的参数，可以控制调度系统的运行方式和细节。 schedmanager启动的时候会首先读取schedmanager.ini中的参数；同样，schedserv启动的时候也会从prog.ini中读取所需的参数。 除了ini参数，调度系统在运行的时候需要的依据参数表的参数和配置来执行作业。 prog.ini必须置于$BIPROG_ROOT/config/下。 * 从兴BI研发部 第*页 INI参数说明（一） schedmanager.ini [course] layerN=n 配置为layerN的作业最大并行进程数 [db2] ctlusername=usrname 要连接的调度数据库用户名 ctlpassword=password 要连接的调度数据库密码 ctldbname=dbname 要连接的调度数据库名称 [tcp] port=portnbr 调度管理程序和调度程序通信的端口（必须大 于1024，否则程序判断为无效端口号） [thread] min_thread=3 最小线程数（目前不用） max_thread=5 最大线程数（目前不用） thread_timeout=600 线程超时时间（目前不用） * 从兴BI研发部 第*页 INI参数说明（二） prog.ini (*INI文件中调度不使用的参数此处不列出) [course] maxpathcourse=n 最大扫描路径数 maxfilecourse=n 最大扫描文件数 maxonline=n 最大在线进程数（只限本机有效） maxeventsize=n 最大事件生成数 filenumperdir=n 每路径最大扫描文件数 minquescan=n(-1) 最大队列扫描数（-1表示不限） minquefilter=n(-1) 最大队列生成数（-1表示不限） branchcnt=n 机构数（市公司数） [db2] ctlusername=usrnam 要连接的调度数据库用户名 ctlpassword=pwd 要连接的调度数据库密码 ctldbname=dbnam 要连接的调度数据库名称 * 从兴BI研发部 第*页 INI参数说明（三） [proghost] progip=ip_addr 本机主机IP hostname=host_name 本机主机名（此处配置等同于IP） [errlogfile] file=path/schedserv.log 调度程序的日志文件 [load] startnode=n 装载起始节点 endnode=n 装载终止节点 maxfilenum=n 起装文件数 maxfilesize=n 起装文件容量 msgpath=path 装载的msg文件路径 logpath=path 装载的log文件路径 dumppath=path 装载的dump文件路径 tmpdumppath=path 装载的临时dump文件路径 loadstarttime=hh:mm:ss 处理装载作业的开始时间 loadendtime=hh:mm:ss 处理装载作业的结束时间 loadper=x(x1) 起装文件百分比 loadinterval=n(单位：秒) 处理装载作业时间间隔 loadlocation=n(0,1) 装载地（0：直接客户端装载;1：ftp到数据库主机装载） delafterload=n(0,1) 装载完成删除文件标志（0：不删除;1：删除） * 从兴BI研发部 第*页 INI参数说明（四） [refgroup] group1=AA1[,AA2,AA3…… ] 依赖组1包含的机构（市公司） group2=AA1[,AA2,AA3…… ] 依赖组2包含的机构（市公司） …… groupn=AA1[,AA2,AA3…… ] 依赖组n包含的机构（市公司） [datastage] projectname=prj_nam [workpath] BI系统程序所需各种路径参数 hashpath=path datapath=path tmppath=path dimpath=path progpath=path datastagepath=path essbasepath=path [schedmanager] serverip=