浮点运算结果的一致性问题.ppt.pptVIP

NUIST HPC使用讲座 ——运算结果的一致性问题 刘建宇 2015-04-21 ！！！声明！！！ 这里仅对浮点运算一致性问题做了一些初略的介绍 目的是希望让大家对结果的一致性有个概念 可能有不全面或不足之处 仅供参考，谨慎使用 3/Public/floating-point.pdf 实验重复不了？ 为什么得到不同的结果 大多数涉及浮点数的计算结果中具有固有的不确定性 计算应用一般需要具有 准确度 可重复性 性能 这些目标通常是冲突的 大多数看起来普通的小数并不能用有限长度的二进制数来确切表述 不同的硬件设计对浮点运算的实现不同 浮点数在计算机内部的表示 数的十进制与二进制的表示方法 浮点数在计算机内部的表示 IEEE (国际电子电器工程师协会) 754标准 用符号（正或负）、指数和尾数来表示，底数被确定为2 F=(-1)^S * M * 2^E 尾数的表示(二进制) 1.xxxxxxxxxxxxx 纯小数的表示 b1 / (2 ^ 1 ) + b2 / (2 ^ 2 ) + b3 / (2 ^ 3 ) + ... + bn / (2 ^ n ) 0.4≈0*0.5+1*0.25+1*0.125+0*0.0625+…… 影响浮点运算结果一致的因素 对于在相同架构下不同类型CPU可以采用编译器浮点精度控制选项来尽量获得浮点运算结果的逐位一致性 在不同编译器之间没有可以完全一致映射的选项 AIX -qfloat=nomaf -qstrict=precision GNU -ffloat-store -fno-fast-math -ffp-contract=off (C only) PGI -Mnofprelaxed -Kieee -Mnofpaprox ( C only ) Intel -fp-model precise -no-fma -fimf-arch-consistency=true 影响浮点运算结果一致的因素 影响运算结果一致的因素 运行环境的确认 一般来说，只要模式/库能编译通过，并且其提供的测试个例能运行通过，就可以说机器的运行环境没问题。? 如果是机器大的环境的问题，则会产生普遍的问题，而非具体的个例问题 硬件问题一般都放在最后考虑，除非有一样的第三方比对硬件 可靠性的确认 尽量使运行环境一致 采用相同的编译器 采用相同版本的库软件包 使用相同的运行方式 确保相同的初始输入数据 使用-O0选项关闭所有优化设置 比较串行程序的结果 如果有串行版本，先检查串行版本的结果 或着使用单进程/线程按串行方式运行并比较结果 与第三方运行结果交叉比对 在硬件架构相同的三方机器上的运行结果 交叉运行其他已知的没问题的程序 用户、模式开发人员、集成商/原始厂商三方共同协作确认原因 跟踪深入代码调试 查看计算过程中的中间变量的值等 参考文献 What Every Computer Scientist Should Know About Floating-Point Arithmetic /cd/E19957-01/806-3568/ncg_goldberg.html Consistency of Floating-Point Results using the Intel? Compiler http://wiki.scinethpc.ca/wiki/images/f/f2/FP_Consistency.pdf Floating point /wiki/Floating_point#Internal_representation Lets Get to the (Floating) Point /Miscellaneous_Technical_Articles#Floating_Point * 13.625= 1x101 + 3x100 + 6x10-1 + 2x10-2 + 5x10-3 13.625=1x23 + 1x22 + 0x11 + 1x10 + 1x2-1 + 0x2-2 + 1x2-3 128 80 64 32 16 总位数 ~34 112 15 1 四精度 ~19.2 64 15 1 X86扩展精度 ~15.9 52 11 1 双精度 ~7.2 23 8 1 单精度 ~3.3 10 5 1 半精度 小数位数(log2^n) 尾数 指数 符号 类型 不同的优化设置会导致不同的浮点运算结果 为了保证计算的精度，处理器内部都会采用更高的精度，例如 Intel X86 的处理器内部采用80-bit 内存中双精度浮点数为64-bit 不同的优化级别对CPU与内存之间的浮点数处理有影响 当使用O2或以上级别时，编译器将会启用乘加运算指令(fmadd)，这