李宏毅：深入浅出讲解AI Agent繁体字.pptxVIP

李宏毅

免責聲明：AIAgent是一個被廣泛使用的詞彙，故本課程中所講的AIAgent不一定跟其他地方一樣

今天使用AI

的方式

人類給予明確指令

AI一個口令

一個動作

AIAgent

人類給予目標

AI自己想辦法達成

需要多步驟、靈活調整計畫

(解決某個研究問題)

AIAgent的翻譯

AIAgent

Observation

Action

Goal

好像在那裡聽過這個段落？這是ReinforcementLearning(RL)常見開場

AIAgent(AlphaGo)

“5-5”

Action

Goal

贏棋

Observation

(RL:ReinforcementLearning)

如何打造AIAgent?RL?

侷限：需要為了每一個任務以RL訓練模型

Reward

“5-5”Action

RL:Learnto

MaximizeReward

Goal

贏棋

Observation

以文字描述

(option)

Goal

“你要贏得勝利”

如何打造AIAgent?直接用LLM！

以LLM直接實踐人類對於擁有Agent的渴望

Action

“我要下在5-5”

Observation

轉譯為行動

LLM

LLM能不能下棋？

•BIG-bench

/abs/2206.04615

LLM能不能下棋？

https://youtu.be/JHq4EKMg7fI?si=izKsH-GCVnZkooq_

以文字描述

(option)

Goal

“你要贏得勝利”

如何打造AIAgent?直接用LLM！

以LLM直接實踐人類對於擁有Agent的渴望

還有多遠？

還可以多做什麼？

Action

“我要下在5-5”

Observation

轉譯為行動

LLM

LLMLLMLLM

從LLM的角度來看Agent要解的問題

一直都在做接龍AIAgent倚靠的是語言模型現有的能力

action3

AutoGPT,AgentGPT,BabyAGI,Godmode…

https://youtu.be/eQNADlR0jSs?si=4yGZEluAUzKK2VD0

AIAgent不是最近才熱門

•2023年春天曾經爆紅過一次

事先設定好有限行為

只能在棋盤上的

19x19個位置落子

近乎無限的可能

可以使用工具

以LLM運行AIAgent的優勢

Typical

Agent

LLM

Agent

AlphaGo

AIprogrammer

LLMAgent

AIprogrammer

以LLM運行AIAgent的優勢

TypicalAgent

為什麼是-1???

CompileError

CompileError

更多資訊

Reward=-1

https://youtu.be/G44Lkj7XDsA?si=cMbKG3tqPbIgnnBq

/abs/2304.03442

AIAgent舉例：AI村民組成的虛擬村莊

Goal

舉辦情人節派對、

準備考試……

gettingreadyforbed“

Observation

Action

AIAgent舉例：Minecraft中的AINPC

/watch?v=2tbaCn0Kl90

AIAgent舉例：讓AI使用電腦

ComputerUse,Operator

AIAgent舉例：讓AI使用電腦

Goal 訂披薩、上網購物…

Observation

Action

AIAgent舉例：讓AI使用電腦

•WorldofBits:AnOpen-DomainPlatformforWeb-BasedAgents(ICML,2017)

AIAgent舉例：讓AI使用電腦

WebArena/abs/2307.13854VisualWebArena/abs/2401.13649

Mind2Web

/abs/2306.06070

LLMLLMLLM

AIDE:TheMachineLearningEngineerAgent/abs/25