面向复杂装配工艺流程的视觉大模型少样本缺陷分割与零样本异常推理联合设计.docxVIP

PAGE2

面向复杂装配工艺流程的视觉大模型少样本缺陷分割与零样本异常推理联合设计

摘要

在复杂装配工艺中，高反光曲面板材（如汽车覆盖件、航空钣金件）的微小缺陷检测长期依赖人工目视或专用检测设备，其适应性差、换型成本高，难以支撑柔性制造。本课题提出一种视觉大模型驱动的少样本缺陷分割与零样本异常推理联合设计方法，以预训练的SegmentAnythingModel（SAM）和CLIP图文对齐模型为基座，通过掩码提示微调与零样本语义对齐，实现缺陷跨类分割漂移抑制与未知异常精准定级。论文围绕“需求分析—总体设计—详细设计—实现—测试”的工程递进主线展开：结论部分剖析高反光曲面缺陷检测痛点与现有方案局限；相关技术部分论证SAM微调、CLIP对齐等关键技术选型；需求分析部分定义系统功能与非功能指标；总体设计部分构建“数据采集—算法处理—应用服务”三层架构并划分功能模块；详细设计部分给出SAM掩码提示微调流程、CLIP异常推理算法和接口规范；实现部分展示核心代码与运行效果；测试部分验证少样本分割精度与零样本推理准确率。设计创新点在于：将SAM的掩码提示机制与工业生产少样本场景结合，利用CLIP图文语义对齐实现未知缺陷零样本推理，解决了高反光曲面微小缺陷检测中类间漂移和未知缺陷定级难题。测试表明，在仅5张标注样本下，缺陷分割mIoU达0.87，未知缺陷异常定级准确率达92.3%，满足工业