多模态模型推理输入输出格式技术协议.docVIP

多模态模型推理输入输出格式技术协议

一、多模态模型推理输入格式规范

（一）文本类输入格式

文本作为多模态模型最基础的输入类型，其格式规范直接影响模型对任务意图的理解精度。在通用场景下，文本输入需采用UTF-8编码格式，确保全球范围内的语言字符都能被正确识别。对于长文本输入，如超过1024个token的文档内容，需按照模型支持的最大上下文窗口进行分段处理，每段文本末尾需添加text_segment_end标记，以提示模型当前文本片段的结束位置。

在特定任务场景中，文本输入需携带任务类型标识。例如，在图像描述生成任务中，文本输入应格式化为[任务类型：图像描述]请描述以下图像内容；在多模态问答任务中，文本输入需明确问题指向，格式为[任务类型：多模态问答]基于提供的图像和文本，回答以下问题：[问题内容]。此外，当输入文本中包含特殊符号、代码片段或公式时，需使用code或formula标签进行包裹，如codedefmulti_modal_inference(input_data):/code，避免模型将其误判为自然语言内容。

（二）图像类输入格式

图像输入需支持主流的图像格式，包括JPEG、PNG、BMP和WebP等，其中JPEG格式优先用于照片类图像，PNG格式优先用于包含透明通道的图像。图像分辨率需根据模型的输入要求进行自适应调整，若模型支持动态分辨率输入，需在图像元数据中添加re