01-瞿祥谋-移动端 GUI 执行的 Agent Harness 探索.pdfVIP

移动端GUI执行的

AgentHarness探索

HARNESS

OPPO研究院|瞿祥谋

Harness是模型与真实世界之间的受控运行时

环境×数据×训练×稳定执行AGENTENVIRONMENT

构成持续进化的全栈闭环

一次Demo，不等于可规模化能力

真正的工程目标

在真实环境波动中，可复现地运行大量任务

模型上限pass@k[1]稳定性pass^k[2]长程任务[3]

模型训练过程中pass@k的波动−ℎ任务中，GPT-4o的pass^161.2%，pass^8降至25%在GUI-CEval中，3步成功率58%-5步成功率46%

理论上限高、高波动性稳定性和一致性难以满足，采样存在偶发性