Mamba模型状态空间预测编码统一框架详细构造.pdfVIP

状态空间预测编码统⼀框架详细构造

核⼼思想

将Mamba的状态空间模型（SSM）与预测编码（PredictiveCoding,PC）融合为⼀个层次

化的时序⽣成模型。

Mamba贡献：⾼效的⻓程依赖建模、线性复杂度的序列更新、选择性状态传递。

预测编码贡献：层级间的双向信息流、预测误差驱动的在线学习、多尺度结构⾃组织。

在SSPC中，每⼀层既是⼀个Mamba单元（处理时序），⼜是⼀个预测编码节点（处理层级间预

测误差）。状态更新由两部分驱动：前⼀时间步的状态（时序记忆）和来⾃⾼层/低层的预测误差

（层级协调）。

数学模型构造

定义符号

层索引l=1,2,…,L，从低到⾼（l=1为输⼊层/输出层，l=L为最⾼抽象层）。

时间步t=1,2,…,T。

ldl

hR

第l层在时刻t的隐状态：∈。

t

ll

第l