Agentic Al结果交付与Serverless范式的结合.docxVIP

AgenticAI结果交付与Serverless范式的结合

陈展凌

2024年6月

认识到局限性

LLMS不知道他们不知

道的东西

认识到局限性

那么......我们能否在提示中注

入语境，让LLMS变得更聪

明！?

ModelContextProtocol

因为即使是最聪明的模型也需要额外的数据和知识背景

结果导向-Speedsmattersinbusiness

无服务器采用背后的原则

Fastertimetomarket

概念/构思生产中

如何定义Serverless?

?使开发团队能够更快地从想法转化为应用

?将无差别的重复操作和运营任务转移到AWS或云厂商

?以更低的总成本提供更高的性能和安全性

Businesslogic

API

Messagingorchestration

Storage databases

Compute

Physicalinfrastructur

e

Customer

AWS

亚马逊云科技Serverless的主要历史里程碑

201520162017

每账户最多100个存储桶AmazonMacieforS3Amazon

每账户最多100个存储桶

AmazonMaciefor

S3

AmazonRedshiftSpectrum集成

标准S3—

不常用访问存储

AmazonAthena集成

Amazon

QuickSight集成

跨区域复制

S3传输加速

AmazonS3AmazonSQSAmazonDynamoDBSNS/SQS/Lambda发送事件提醒

AmazonS3

AmazonSQS

Amazon

DynamoDB

S3事件提醒

队列

价格降低服务器

价格降低

端加密满足HIPPA要求

延展客户端Java库

延展客户端

Java库

FIFO

（2GB）

支持400KB组

件

预留

O

O

容量

跨区域复制

AmazonLambda集

ItemTimetoLive

(ITL)

O

O

Amazon

DynamoDB加速器

(DAX)

成

首次

Amazon

Lambda

发布

O

O

支持Java和Python

O

O

SNS和APIGateway集成

VPC

访问

支持Node.jsv4.3和C#

O

O

Amazon

SAM

Lambda@Edge

首次

发布

AmazonDirectConnect集成

区域DNS解析

静态时加密

AmazonEFS

首次Amazon

Fargate

发布SLA99.99%

GUESTOS

GUESTOS容器负载

Lambda的技术基础

Firecracker

用于无服务器计算的安全快速的微虚拟机

客户端

201820192020202120222023

存储MetadataServiceRATELIMITING网络RESTfulAPI

存储

MetadataService

RATELIMITING

网络

RESTfulAPI

更好的资源利用率安全与隔离更快的启动时间

E2BInfrastructure

9

CoreComponents

Orchestrator与TemplateManager

Orchestrator负责管理沙箱生命周期，TemplateManager则处理环境模板

和构建

FastAPIJupyterKernel

FastAPIServer管理代码执行请求，JupyterKernel在独立环境中运行代码

01

01

03

03

02

02

ClientProxy与EnvdService

ClientProxy负责将流量导向合适的沙箱，EnvdSer