MapAgent: 基于轨迹构建的记忆增强规划用于移动任务自动化.pdfVIP

MapAgent:基于轨迹构建的记忆增强规划用于移动任务自动化

12∗2111

YiKong,DianxiShi,GuoliYang,Zhangke-di,ChenlinHuang,XiaopengLi,

SongchangJin3

1NationalUniversityofDefenseTechnology,Changsha,China

2AdvancedInstituteofBigData,Beijing,China

3IntelligentGameandDecisionLab,Beijing,China

{kongyyy,dxshi,zhangkedi10,clhuang,xiaopengli}@nudt.edu.cn,{yanggl}@aibd.ac.cn,{jsc04}@tsinghua.org.cn

Abstract领域(Wangetal.2024b;Liuetal.2025a)展示了自

主任务执行能力，例如软件开发(Hongetal.2024;Li

大型语言模型（LLMs）驱动的自主代理最近的进步展

示了通过图形用户界面（GUIs）在移动设备上自动化任etal.2023)、社会行为模拟(Parketal.2023;Tangetal.

本务的巨大潜力。尽管取得了初步进展，这些代理在处理2024)、医疗应用(Kimetal.2024;Lietal.2025b)以及

译复杂的真实世界任务时仍面临挑战。这些挑战源于基于游戏场景(Qinetal.2024;Tanetal.2024)。

中LLM的代理缺乏对真实生活移动应用程序的了解，这在这些应用中，移动设备上的任务自动化尤为突

可能导致无效的任务规划甚至产生幻觉。为了解决这些出。与传统的基于API的虚拟助手（如Siri或Google

1问题，我们提出了一种新的基于LLM的代理框架——Assistant）主要受制于严格的预定义规则不同，由大型

v

MapAgent，该框架利用从历史轨迹构建的记忆来增强

3基础模型支持并依托图形用户界面(GUI)的代理已经

5当前的任务规划。具体而言，我们首先提出了一个基于

作为有希望的解决方案出现，用于实现灵活和复杂的

9轨迹的记忆机制，将任务执行轨迹转化为可重用且结构

1化的页面记忆数据库。轨迹中的每个页面都被提取为紧用户任务(Zhangetal.2025b;Liuetal.2025b)的自

2.凑而全面的快照，捕捉其用户界面布局和功能性上下文。动化。这些基于LLM的GUI代理可以通过多模态感

7其次，我们引入了一种从粗到细的任务规划方法，该方知(Qinetal.2025;Gouetal.2025)、复杂架构(Wang

0

5法根据相似度从记忆数据库中检索相关页面，并将它们etal.2024a;Zhangetal.2024b)以及自适应规划(Zhu

2注入LLM规划器以弥补对真实世界应用程序场景理解etal.2025;Zhouetal.2025)，在移动设备上执行类人

:

v上的潜在不足，从而实现更加知情且上下文感知的任务交互（例如点击、输入、滚动等）。这种新兴的操作范式