besiii离线软件 - indico@ihep.ppt

张晓梅 2011.7.4~2011.7.7 第十五届全国科学计算与信息化会议暨高能物理核物理信息化论坛 BESIII离线物理软件在64位升级中的若干问题 内容 BESIII离线物理软件 64位机的三种工作模式 BESIII离线软件的升级过程及遇到的主要问题 升级前后的软件性能比较 总结 BESIII实验 北京谱仪（BESIII）是北京正负电子对撞机(BEPCII) 上的大型通用谱仪 它主要用于τ－粲能区的物理研究如弱电相互作用研究，强相互作用和新物理的寻找等 BESIII离线软件（BOSS, BESIII Offline Software System)的主要任务是将BESIII探测器和模拟产生的原始数据进行处理，生成物理分析使用的DST数据，同时提供物理分析所需的工具 BESIII离线物理软件是 BESIII物理分析的前提和关键 它的精度和性能决定着 物理分析的结果和进程 30+ External Library(ROOT..) GAUDI BOSS CMT 几何DB 刻度DB Ana Rec Cal Gen Sim … BESIII离线软件（BOSS) 大型的高能物理软件系统 基于高能物理软件通用框架Gaudi，采用CMT配置管理工具 包含了sim, rec, ana, cal等数据处理模块 使用了30多个外部库 采用mysql, sqlite等数据库进行刻度和几何参数的读取 对于大型的物理软件来说，64位升级具有相当的难度 系统庞大且算法，外部支持软件系统复杂 精度要求高，测试和检查过程细致繁杂 64位升级的意义和必要性 64位机已经是计算机发展的趋势 高能物理实验的主流机型早已是x86-64 64位系统具有巨大的内存优势 32位寻址(232~4GB), 64位寻址(264~16EB) 计算中心Lustre服务在64位上成功解决死机问题 升级到64位后将显著提升软件性能 许多知名的高能物理软件移植后取得了很好的性能提升 ROOT升级后得到40%的性能提升, Pythia 21%的性能提升 对BESIII数据处理已经势在必行 系统软件，物理外部软件已经逐渐不再支持32位 32位的内存瓶颈日益凸显，高性能系统只能运行在64位 CERN farm已与2007年升至64位，意味着支持的高能物理软件库-64位 64位机的三种工作模式 传统模式（Legacy mode) 32位应用程序运行在32位操作系统 64位CPU可以当成32位CPU使用 升级前IHEPCC farm工作结点的主要工作模式—传统模式 兼容模式（Compatibility mode） 32位应用程序运行在64位操作系统 32位应用程序无需重新编译就可以运行在该模式 兼容模式是传统模式与完全模式之间的过渡模式 完全模式（Native mode） 64位应用程序运行在64位操作系统 升级的目标模式，可充分发挥64位处理器的优势，包括内存和性能优势 第一阶段：传统模式 ?兼容模式（Compatibility mode） 主要提供32位BESIII离线软件较长的过渡时间 同时不耽误系统升级64位，突破内存瓶颈 CERN实验在兼容模式上已有较长的时间（三年） 第二阶段：兼容模式?完全模式（Native mode） 最终完成所有32位程序升级到64位 需要对32位程序做出调整和修改，重新编译 出现问题较多，升级时间长 BESIII离线软件的64位升级 BESIII离线软件的64位升级的五个步骤 以问题为导向，循环递进 无现成规律可循 测试尽可能全面，尽量发现问题 分为五个步骤: 建立运行环境 编译BOSS Run-time检查 大规模压力测试检查 物理结果检查 性能评估和优化 内存和速率 运行环境 操作系统 编译工具 硬件 共享库和boss.exe 外部库 BOSS Run-time 物理结果 性能 编译 检查 优化 执行 升级过程的主要问题 编译错误 程序异常 结果差异 内存膨胀 编译错误 编译选项的改变 “m32” -- 兼容模式下GCC提供的32位应用程序的编译和链接选项 “fPIC” -- 64位要求共享库编译成”Position Independent Code” 由于各种库编译模式不同，容易产生遗漏 编译规则的改变 64位GCC比较32位GCC在编译规则更为严谨 特别表现在变量和函数声明、类型转化的情况 Eg. cmath “ some coding assumptions are not valid any more” 外库的改变: 外库的升级引起库的位置，函数的改变 CMT的升级造成