DeepSeek V4 Flash 0731 双 GB10 推理测试报告 （2026-08-08）.pptxVIP

1.结论

•两台GB10已成功以TP=2启动官方deepseek-ai/DeepSeek-V4-Flash-0731，运行时为ghcr.io/anemll/dspark-vllm-gx10:0.1.1。

•单railA的RoCE/NCCL双机推理链路可用；API、6路并发、reasoning分离、关闭thinking和自动工具调用均通过。

•无prefix-cache污染、每请求固定输出256token的正式基线已完成到128K：单流decode为52.1-63.4tok/s，128KTTFT为80.15s。

•gb10-2重启、F1/RDMA/NCCL回归和TP=2服务恢复后，1,000,000-token补测已通过：实际输入

1,000,039tokens，TTFT1132.99s，prefill882.65tok/s，随后32tokensdecode335.50tok/s，全程 preemption=0。

•上一次1M在KV指标49.45%时因gb10-2整机离线中断；本次补测超过该位置并完整返回。结束后API、两机容器、F1/RDMA和管理网均正常。

测试日期按Asia