AI大模型开发实战 教案 6多模态应用开发：从原理到落地.docx

一、课程概览

学时：90分钟（2×45′），多媒体教室

先修：完成“RAG系统”实训，会用OpenAIAPI或本地模型进行文本生成。

教学目标

知识：说出多模态五条数据链路“采-编-融-推-馈”；写出LLaVA三组件“视觉编码器-投影层-语言模型”；列举图文交互四步“上传-编码-融合-生成”。

能力：能独立运行一个“图文问答Demo”并替换自有图片；能基于缺陷检测模型加入语音播报函数。

情感：树立“模态互补、体验无界”的设计理念，关注可访问性与包容性。

教学重点：跨模态对齐、图文联合推理、冗余/互补策略。

教学难点：Cross-Attention机制调优、事件驱动融合框架、轻