多模态语篇中视觉与语言互动的数学模型分析.pdfVIP

2025年第3期外语研究2025,No3

总第211期ForeignLanguagesResearchSerialNo211

多模态语篇中视觉与语言互动的数学模型分析

李文超1修刚1,2

（1.延边大学外国语学院，吉林延边133000;2.浙江越秀外国语学院，浙江绍兴312030）

摘要：多模态语篇分析作为语言学与传播学交叉领域的重要研究方向，融合系统功能语言学和数学建模方法，为理解视

觉与语言元素的协同作用提供了新的量化工具。本研究提出的视觉及物性、语言及物性以及综合互动模型，能够有效捕捉

符号模式间的互动关系，突破了传统定性分析的局限，特别是在广告、新闻报道和教育视频等多模态语篇中展现了一定的

解释力和适用性。模型分析显示，视觉和语言符号在不同语篇类型中存在显著的互动差异，量化方法显著提升了分析的科

学性与客观性，为多模态语篇设计和信息传播策略的优化提供了理论支持和实证依据。

关键词：多模态语篇分析；系统功能语言学；数学建模；视觉及物性；语言及物性

中图分类号：H030文献标识码：A文章编号：1005-7242(2025)03-0055-07

0.引言展和方法创新。

多模态语篇分析(MultimodalDiscourseAnalysis,本研究旨在解决以下几个关键问题：（1)如何

MDA)近年来成为语言学和传播学研究的重要领域。通过数学模型量化描述多模态语篇中视觉和语言

该领域主要探讨语言、图像、声音等多种符号模式在元素的互动机制；（2)这些互动机制在不同类型的

语篇中的协同作用及其对意义构建的影响。随着数多模态语篇中是否具有一致性或差异性；（3)所提

字媒体的迅速发展，人们接触的语篇形式变得更加出的数学模型能否有效地揭示和解释多模态语篇

多样化和复杂化（刘丹等2024：84）。网络舆情的多

中的复杂互动关系。基于这些研究问题，本研究提

模态特征尤为显著，文字、图片、视频等多种符号资出以下研究假设：第一，多模态语篇中视觉和语言

源不同模态的协同作用在舆情分析中起到了关键作元素的互动可以通过数学模型进行有效量化描述；

用,为政府决策和社会稳定提供了重要参考(潘艳艳第二，不同类型的多模态语篇中，视觉和语言元素

2024:61）。因此，理解多模态语篇中各模态的互动的互动机制存在显著差异；第三,所构建的数学模

机制具有重要的理论和实践意义（张德禄2015：6；型具有一定的解释力和适用性，能够有效揭示多模

刘晓琳2015:8)。态语篇中的互动关系。本研究的主要目的在于构建

KressvanLeeuwen(2006:56)在其著作《阅读图一种基于数学模型的框架，用于量化分析多模态语

像：视觉设计的语法》(ReadingImages:TheGrammarof篇中视觉和语言元素的互动关系。具体而言，本研

VisualDesign)中提出了视觉语法的概念，强调图像究的目标包括：提出适用于多模态语篇分析的数学

与文字在意义构建中的协同作用。这一理论的提出模型，量化描述视觉及物性、语言及物性、情态互

标志着多模态语篇分析进人了一个新的阶段。中国动、主题结构互动和隐喻互动等关键概念；通过构

学者如刘晓琳(2015:24)也指出,多模态语篇中的图建和验证这些模型，探讨视觉和语言元素在多模态

像与文字协同作用在不同文化背景下的表现形式存语篇中的互动机制，揭示它们在不同层面上的相互

在差异，要求在分析时综合考虑文化因素°。作用；提供理论依据和数学工具，为未来的多模态

0Hallor