CN119629406A 一种基于用户操作视频的rpa指令生成方法 （杭州分叉智能科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN119629406A

(43)申请公布日2025.03.14

(21)申请号202510171987.1

(22)申请日2025.02.17

(71)申请人杭州分叉智能科技有限公司

地址311121浙江省杭州市余杭区仓前街

道鼎创财富中心2幢3层303室

(72)发明人金礼剑代培吴小女邓明明

(74)专利代理机构杭州万合知识产权代理事务所(特殊普通合伙)33294

专利代理师丁海华

(51)Int.Cl.

H04N21/433(2011.01)

H04N21/431(2011.01)

G06V20/40(2022.01)

H04N21/44(2011.01)

G06N3/0455(2023.01)

G06V10/82(2022.01)

G06V10/80(2022.01)

权利要求书2页说明书8页附图1页

(54)发明名称

一种基于用户操作视频的RPA指令生成方法

(57)摘要

CN119629406A本发明公开了一种基于用户操作视频的RPA指令生成方法，包括如下步骤：步骤1、基于目标检测算法识别用户操作视频中网页内的界面元素，并获取界面元素变化的时间戳；步骤2、基于视频理解模型对用户操作录制视频进行分析，获取单帧图像和文本特征