原创力文档- 1、本文档共16页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
构建可信的AIGC云原生应用
刘秉伟
英特尔软件与先进技术事业部系统软件高级总监
2023年12月1日
构建可信AIGC云原生应用
机密容器（ConfidentialContainers)
英特尔?平台的可信AIGC能力
构建可信AIGC应用
容器运行时安全的演进
CNCF沙箱项目-ConfidentialContainers(CoCo)
机密计算
云原生
?利用HardwareTEE保护应用/模型/数据
?容器和K8S生态
?基于远程证明构建信任
?聚焦应用
?把基础设施服务提供者排除在可信计算基（TCB）之外
?弹性
?提供安全上云的新范式
?高密
状态设计原则
?广泛的业界支持?易用无需应用修改
?2022年3月成为CNCF沙箱项目?容易部署和运维
?完整的安全特性?非常容易和各种云服务集成
?应用场景驱动?Pod级TCB，IT运维人员天然不可信
?端到端零信任覆盖运行时/存储/网络/secrets
CoCo项目的技术路线图
基于硬件TEE的安全加固
/confidential-containers
构建可信AIGC云原生应用
机密容器（ConfidentialContainers)
英特尔?平台的可信AIGC能力
构建可信AIGC应用
英特尔?高级矩阵扩展(AdvancedMatrixeXtensions)
第四代英特尔?至强?CPUMax
Intel?ExtensionforPyTorch*的大语言模型优化
Intel?ExtensionforPyTorch*是英特尔提供的基于PyTorch的扩展库
OpenModelsLlama2GPT-JOPTFalconStarCoderBLOOM
Stable
Diffusion
?针对大语言模型做了大量定制的优化
?更高效的LLM定制化GEMM内核来充分发挥AMX和
DDR5的性能
?IndirectaccessKVcache优化了LLM的MHA计算瓶
颈
?更激进的面向LLM典型结构的算子融合算法
?多种低精度数据类型支持来更好的满足各种应用场景
?BF16,INT8,INT4
?内置多CPU/多节点扩展支持，弹性扩展性能和性价比
EcosystemLibraries
DeepLearning
Framework
TorchvisionTorchServeTorchRec
PyG
Intel?ExtensionforPyTorch
SYCL
oneDNNoneCCLoneMKL
Triton
英特尔?至强?处理器加速大模型推理性能
FuturePotential
第四代英特尔?至强?可扩展处理器很好的支持1B~13B的大模型推理
英特尔?信任域扩展(TrustDomaineXtensions)
Intel?TDX
虚拟机级别TEE
Intel?TDXConnect
异构TEEs
TD(TrustDomain)
TD(TrustDomain)
AppAppApp
AppAppApp
GuestOS
GuestOS
VMM
VMM
TD
IntelXeon(TDX)
TD
IntelXeon(TDXConnect)
TrafficProtectedbyIDE
TDIConfidentialComputingDevice
(GPU,Acceleratoretc.)
构建可信AIGC云原生应用
机密容器（ConfidentialContainers)
英特尔?平台的可信AIGC能力
构建可信AIGC应用
公有云上构建可信AIGC应用保护关键模型/IP
私有数据中心上构建可信AIGC应用保护关键模型
文档评论（0）