1.   引言

视频字幕生成是多模态领域的重要研究课题之一，通过机器学习的方式用自然语言自动生成忠于视频的描述性句子。视频字幕生成在人机交互、辅助视障人士、体育赛事解说具有广泛的应用前景，尤其随着自动驾驶、大模型等快速发展，各界对视频字幕生成的需求仍在上升。为了能够生成准确的文本描述，需要模型充分理解视频，因此从复杂多变的视频中提取有效信息对于解码器生成文本描述至关重要。

传统的视频字幕生成主要是基于模板^［1-3］的方法，首先从视觉分类器中提取主题、对象和动词等语义概念，然后根据给定句子模板生成字幕。受到模板的限制，基于模板的方法生成的字幕形式单一，缺乏灵活性。基于深度学习的方法多采用最大似然估计（Maximum Likelihood Estimation，MLE）作为损失，即以对应视觉特征为条件，训练视频字幕的概率最大化。有关算法最早可追溯到2015年利用长短时记忆网络（Long Short-Term Memory， LSTM）^［4］实现的序列到序列视频字幕^［5］，随后基于编码器解码器结构的方法成为主流^［6-10］，并利用Transformer^［11］取得长足的发展^［12-15］。最近通过对比语言-图像预训练（Contrastive Language-Image Pre-Training， CLIP）^［16］模型展现了强大的特征提取和零样本能力，利用CLIP提取视频帧的特征生成视频字幕^［17-19］的方式取得令人印象深刻的性能。

近期对编码器解码器框架的改进有挖掘额外信息，如概念先验^［18-20］，检索信息^［21-23］，主题^［24］，目标检测^［25-27］等。文献［28］通过计算文本和视频的相似性，从语料库中检索出相关的文本描述，送入解码器生成文本描述，提高了生成的多样性。然而，尽管检索出的文本描述具有较高的相似性，但不可避免地引入了较多的噪声，误导字幕的生成。文献［18］利用视觉信息提取出视频内容相关的概念，间接指导模型生成视频相关的文本描述，此种粗糙的概念提取方式会引入无关的概念噪声，直接影响生成字幕的准确性。文献［19］为提高提取的概念准确性，通过融合来自检索、音频、视频的多模态信息提取高度相关的概念，生成高效的先验信息。实验结果表明多模态信息对于概念提取以及字幕生成具有良好的效果，然而，仍无法完全避免噪声问题。上述方法中提取的先验信息，如检索、概念、主题等难以避免地产生噪声，误导模型的训练和推理，产生部分偏差的视频字幕。另外一种提升模型性能的方式是提取时间相关信息，如运动信息^［25-29］，运动矢量^［30］等。运动信息的提取通常采用预训练模型，如3D ResNext^［31］，随后与视觉空间特征结合后，送入解码器解码出文本描述。文献［25］利用目标检测器检测出视频中的目标，再利用时空图模型建模目标在时空内的相互作用，并使用蒸馏将目标分支中的目标级别信息蒸馏到场景分支中，避免模型由于视频中目标的变化引起的不稳定。文献［30］提出了一种快速的端到端视频字幕生成方法，通过提取运动矢量和残差图，直接生成视频字幕。然而文献［30］提取运动矢量增加了额外的处理开销，且分别在时间和空间建模，不利于特征的时空关系的一致性，可能会对字幕生成产生消极影响。因此，避免噪声引入和时空联合建模可能会对视频字幕模型性能提升有帮助。为避免噪声引入，文献［17］利用预训练的CLIP提取丰富的特征，无须额外先验信息，特征经过Transformer编码器和解码器后直接生成文本描述。虽然文献［17］避免了提取先验信息引入噪声的问题，然而CLIP是在图像文本对上训练的，对于视频中的时间运动信息可能无法有效捕捉，仅依靠单一常规的Transformer编码器的能力难以有效建模时空信息。上述方法同样适用于其他视频理解任务^［32-33］，视频中时空信息提取不充分，直接影响模型的视频理解能力，限制视频字幕的生成质量。

综上所述，设计一种高效的时空建模模型成为解决问题的关键。为此，我们提出一种新颖的基于时空增强的状态空间模型（State Space Model， SSM）和Transformer模型（SpatioTemporal-enhanced State space model and Transformer， ST2），该模型引入了最近流行的Mamba模型（一种状态空间模型），SSM模型不仅克服了卷积神经网络的局部感受野问题，同时具备线性复杂度，擅长对长序列建模，具有优良的性能。为增强视频的空间特征，我们提出了空间增强的SSM和Transformer模块（Spatial enHanced State space model and Transformer module， SH-ST），利用异构的Mamba和Transformer分别处理特征。为增强时间建模能力，我们对空间特征进行重排序，提出时间增强的SSM和Transformer模块（Temporal enHanced State space model and Transformer module， TH-ST），利用SSM模型的时间扫描特性，增强时间特征建模，并再次使用Transformer提高模型表征能力。我们共享了SH-ST和TH-ST中权重，降低模型参数量的同时促进模型对视觉特征的时空联合建模。

本文的主要贡献为：①提出一种用于视频字幕生成的基于时空增强的状态空间模型和Transformer模型（ST2），有效提高视频字幕生成质量。②提出空间增强的SSM和Transformer模块（SH-ST）以及时间增强的SSM和Transformer模块（TH-ST），分别增强时间和空间信息的提取，并提高模型的时空联合建模能力。③在MSVD和MSR-VTT数据集上进行实验，定量和定性结果显示，本模型生成的视频字幕质量超越了大多数对比方法。具体的，在MSVD和MSR-VTT数据集上的绝对CIDEr分数超过最先进的结果6.9%和2.6%。

2.   网络结构

本节中我们将首先介绍SSM原理，随后详细介绍本文提出的ST2的网络架构，如图1所示，以及其两个重要组成部分空间增强的SSM和Transformer模块（SH-ST）以及时间增强的SSM和Transformer模块（TH-ST），分别如图2、图3所示，最后介绍我们采用的解码器和损失函数。

图  1  ST2总体架构

Fig.  1.  Overall framework of ST2

下载: 全尺寸图片 幻灯片

图  2  空间增强的SSM和Transformer模块

Fig.  2.  Spatially enhanced state space model and Transformer module （SH-ST）

下载: 全尺寸图片 幻灯片

图  3  时间增强的SSM和Transformer模块

Fig.  3.  Temporally enhanced state space model and Transformer module （TH-ST）

下载: 全尺寸图片 幻灯片

2.1   理论基础

本节我们介绍一类具有线性复杂度的SSM，特别是S4^［34］和Mamba^［35］。它们受到线性时不变（linear time-invariant， LTI）连续系统的启发，通过隐状态$h(t)\in {\mathbb{R}}^N$将输入序列$x(t)\in \mathbb{R}$映射为输出$y(t)\in \mathbb{R}$。该系统通过矩阵$\mathit{A}\in {\mathbb{R}}^{N\times N}$控制隐状态的动态变化，矩阵$\mathit{B}\in {\mathbb{R}}^{N\times \mathrm{1}}$和$\mathit{C}\in {\mathbb{R}}^{\mathrm{1}\times N}$分别作为投影参数，数学方式表示如下：

S4^［34］和Mamba^［35］被构建为这些连续系统的离散化等价模型，将输入序列$\{x_{\mathrm{1}},x_{\mathrm{2}},\dots ,x_k\}$映射为输出$\{y_{\mathrm{1}},y_{\mathrm{2}},\dots ,y_k\}$，采用零阶保持（zero-order hold， ZOH）离散化方法，将连续参数$(\mathit{A},\mathit{B})$转换为离散形式$(\overline{\mathit{A}},\overline{\mathit{B}})$。该转换引入时间尺度参数$\mathrm{\Delta }\in {\mathbb{R}}^D$实现，具体定义如下：

经过离散化之后，线性系统在每个离散时间步$k$的行为可描述为：

Mamba^［35］引入选择性状态空间机制，突破了SSM的LTI限制。该机制允许矩阵$\overline{\mathit{A}}$，$\overline{\mathit{B}}$和$\mathrm{\Delta }$随输入序列变化，从而提升序列间的选择性信息处理，使模型具备上下文感知能力。

2.2   时空增强的状态空间模型和Transformer

如图1所示，我们展示了所提出的时空增强的状态空间模型和Transformer（ST2）的整体架构。ST2由四部分组成，视觉编码器，空间增强的SSM和Transformer模块（SH-ST），时间增强的SSM和Transformer模块（TH-ST）以及解码器。依据前人研究^［17］，我们使用经过图像与文本对齐的CLIP视觉编码器作为主干，提取视频特征并标记化为${\mathbf{F}}_{\mathrm{i}\mathrm{n}}\in {\mathbb{R}}^{L\times D}$。$L$和$D$分别表示视频帧数量和标记维度。特征向量首先添加位置嵌入，然后依次输入SH-ST和TH-ST，通过SH-ST和TH-ST的相互协调作用，增强模型的时空联合建模能力，随后经过投影层，最后获得时空增强后的特征。特征与句子嵌入一并送入解码器中，生成视频文本描述并计算损失，该部分详细内容我们将在2.5节详细讨论。则ST2的视频处理数据流如下公式所示：

其中$\mathbf{F}$表示中间视觉特征，${\mathrm{\Psi }}_{\mathrm{P}\mathrm{o}\mathrm{s}}$表示可学习位置嵌入，$\mathrm{\Gamma }(,)$表示重排序，${\mathrm{\Psi }}_{\mathrm{P}\mathrm{r}\mathrm{o}\mathrm{j}}$表示投影层，${\mathrm{\Psi }}_{\mathrm{S}\mathrm{H}-\mathrm{S}\mathrm{T}}$和${\mathrm{\Psi }}_{\mathrm{T}\mathrm{H}-\mathrm{S}\mathrm{T}}$分别表示SH-ST和TH-ST模块。

2.3   空间增强的SSM和Transformer模块

如图2所示，我们的空间增强的SSM和Transformer模块（SH-ST）由并行的SSM和Transformer构成。标准的Mamba是处理一维序列的，其因果扫描机制使其不适用于视觉任务中的空间感知理解。受到文献［36］的启发，我们在展平的视频特征上进行前向SSM和后向SSM扫描，实现双向建模，从而增强模型对视频特征的理解。

定义输入SH-ST模块${\mathrm{\Psi }}_{\mathrm{S}\mathrm{H}-\mathrm{S}\mathrm{T}}$中的特征为${\mathbf{F}}_{\mathrm{p}\mathrm{o}\mathrm{s}}$，则SH-ST中的SSM处理流程可以表述为：

其中$\sigma (\cdot )$表示SiLU激活函数，${\mathrm{\Psi }}_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}\mathrm{d}}$和${\mathrm{\Psi }}_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}\mathrm{r}}$分别表示一维卷积和线性变换，$\mathrm{f}\mathrm{l}\mathrm{i}\mathrm{p}(\cdot )$表示对序列进行顺序反转。进一步地，我们考虑异构模型对视频理解可能存在帮助，我们利用Transformer块进一步挖掘视频中的信息：

其中，$\mathrm{F}\mathrm{F}\mathrm{N}(\cdot )$表示前馈神经网络，$\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}(\cdot )$表示归一化，Transformer的关键组件是缩放点积注意力机制，即$\mathrm{A}\mathrm{t}\mathrm{t}(\cdot )$，表示如下：

其中，$i\in [\mathrm{1},N_H]$，$N_H$表示注意力头数量，${\mathrm{*}}_i\in {\mathbb{R}}^{L_{\mathrm{*}}\times d_k}(\mathrm{*}\in \{\mathit{Q},\mathit{K},\mathit{V}\})$，$L_{\mathrm{*}}$表示采样的帧序列长度，$d_k=d_h/N_h$，$d_h$表示预定义的模型维度，$b_i\in {\mathbb{R}}^{L_K}$表示基于头部的偏置项，$\mathit{Q}$、$\mathit{K}$、$\mathit{V}$由${\mathbf{F}}_{\mathrm{P}\mathrm{o}\mathrm{s}}$线性映射而来。

2.4   时间增强的SSM和Transformer模块

SH-ST通过融合SSM的异构模块增强模型的空间变化感知能力，我们还提出了时间增强的SSM和Transformer模块（TH-ST），以促进时间建模，如图3所示。考虑到SH-ST增强后的特征${\mathbf{F}}_{\mathrm{S}\mathrm{S}\mathrm{M}}\in$${\mathbb{R}}^{L\times D}$、${\mathbf{F}}_{\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}}\in {\mathbb{R}}^{L\times D}$是异构模型对相同视频帧序列的不同表达，为了促进二者在时间上信息交互，我们摒弃常用的拼接，采用重排序$\mathrm{\Gamma }(,)$操作。具体地，我们将${\mathbf{F}}_{\mathrm{S}\mathrm{S}\mathrm{M}}\in {\mathbb{R}}^{L\times D}$、 ${\mathbf{F}}_{\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}}\in {\mathbb{R}}^{L\times D}$以交叉的方式重排序，构建序列${\mathbf{F}}_{\mathrm{r}\mathrm{e}}=[{\mathbf{F}}_{\mathrm{S}\mathrm{S}\mathrm{M}}^{(\mathrm{0})},{\mathbf{F}}_{\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}}^{(\mathrm{0})},{\mathbf{F}}_{\mathrm{S}\mathrm{S}\mathrm{M}}^{(\mathrm{1})},$${\mathbf{F}}_{\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}}^{(\mathrm{1})},\dots ,$${\mathbf{F}}_{\mathrm{S}\mathrm{S}\mathrm{M}}^{(\mathrm{2}L)},{\mathbf{F}}_{\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}}^{(\mathrm{2}L)}]\in {\mathbb{R}}^{\mathrm{2}L\times D}$。然后序列${\mathbf{F}}_{\mathrm{r}\mathrm{e}}$将会串行输入到TH-ST中的SSM和Transformer中，如公式（8）~（15）所述。不同于SH-ST模块中SSM和Transformer间并行操作，我们认为此种串行的方式有助于增强模型对重排序后特征的时间信息增强。另外我们共享了SH-ST和TH-ST模块中的SSM权重，减少参数量的同时，增强SH-ST和TH-ST模块间信息共享，提升ST2模型的时空联合建模能力。需要注意的是，最后TH-ST输出的特征序列增加了两倍，因此，我们在最后增加了投影层，剔除冗余信息、提升模型效率，如公式（7）所示。

2.5   解码器和损失函数

将视频文本对表示为$(\mathrm{𝒱},\mathrm{𝒮})$，随机采样一个视频样本为$v\in \mathrm{𝒱}$，$v=\{v_{\mathrm{1}},v_{\mathrm{2}},\dots ,v_L\}$，$L$为预定义的帧数目，取$v$的一条对应的文本描述作为标签（Ground Truth， GT）记为$s\in \mathrm{𝒮}$，$s=\{s_{\mathrm{1}},s_{\mathrm{2}},\dots ,s_z\}$，$z$表示句子长度。视频$v$经过编码生成特征${\mathbf{F}}_{\mathrm{S}\mathrm{T}\mathrm{2}}$后，解码器阶段旨在生成文本描述$s$，每一个词$s_z$基于特征${\mathbf{F}}_{\mathrm{S}\mathrm{T}\mathrm{2}}$和先前生成的词$s_{:z-\mathrm{1}}$。具体地，在第$z$个时间步，我们计算输入的嵌入向量${\mathit{e}}_z\in {\mathbb{R}}^{d_h}$：

其中下标$[i]$表示矩阵的第$i$行，${\mathit{W}}^{\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}}\in {\mathbb{R}}^{|\upsilon |\times d_h}$ 和${\mathit{W}}^{\mathrm{p}\mathrm{o}\mathrm{s}}\in {\mathbb{R}}^{T_{\mathrm{m}\mathrm{a}\mathrm{x}}\times d_h}$分别表示词和位置嵌入可训练矩阵，$|\upsilon |$表示字典大小，$T_{\mathrm{m}\mathrm{a}\mathrm{x}}$表示预定义的最长序列长度。随后，我们将${\mathbf{E}}_{\le z}=\{{\mathit{e}}_{\mathrm{1}},{\mathit{e}}_{\mathrm{2}},\dots ,{\mathit{e}}_z\}$和${\mathbf{F}}_{\mathrm{S}\mathrm{T}\mathrm{2}}$送入到字幕解码器中，产生隐状态${\mathit{h}}_w\in {\mathbb{R}}^{d_h}$：

字幕解码器由$N_{\mathrm{d}\mathrm{e}\mathrm{c}}$个Transformer块构成^［11］，其核心缩放点积注意力机制如公式（15）所示。最后我们将${\mathit{h}}_w$送入分类头预测下一个词$s_z$：

其中$\mathrm{p}(s_z\left|s_{:z-\mathrm{1}},{\mathbf{F}}_{\mathrm{S}\mathrm{T}\mathrm{2}})\in {\mathbb{R}}^{\left|\upsilon \right|}\right.$表示基于字典$\upsilon$的分布，${\mathit{W}}^{\mathrm{c}\mathrm{l}\mathrm{s}}\in {\mathbb{R}}^{d_h\times |\upsilon |}$表示可学习矩阵。将视频特征${\mathbf{F}}_{\mathrm{S}\mathrm{T}\mathrm{2}}$和给定的GT字幕$s$作为输入，计算输出与GT的交叉熵损失$\mathrm{ℒ}$：

其中$\theta$表示可学习参数。

3.   实验设置

3.1   数据集

我们在两个广泛使用的数据集MSVD^［37］，MSR-VTT^［38］上进行了实验。其中MSVD包含1970个视频，每个视频片段有40个字幕，每个视频片段的平均持续时间约为10 s。参考文献［17］［19］，包括使用1200个视频进行训练，100个视频进行验证，670个视频进行测试。MSR-VTT是一个通用的视频字幕数据集，包括10000个视频片段，每个片段都注释有20个字幕。平均每个视频剪辑持续约15 s。我们遵循官方^［38］的划分方式，使用6153个片段进行训练，497个片段用于验证，2090个片段用于测试。

3.2   指标

为了将我们的方法与其他的方法对比，文章采用了如下四个指标，BLEU@4^［39］（B@4）是基于精度的指标，METEOR^［40］（M）计算句子级别的分数，ROUGE^［41］（R）使用最长公共子序列来计算句子之间的相似度，CIDEr^［42］（C）是一种基于共识的指标。

3.3   特征

每个视频均匀采样固定帧训练推理，即预定义的帧数目$L=\mathrm{20}$，采样不足20帧时用零填充。我们采用12层块尺寸为32的ViT-B/32^［11］作为我们的视频编码器（缩写为CLIP_ViT-B/32）提取特征，具体地，我们使用预训练的CLIP_ViT-B/32^［13］作为基干，以提取丰富的特征。预训练的CLIP_ViT-B/32对于视频字幕任务在文献［17-19］中证明是有效的。

3.4   模型设置

我们SH-ST和TH-ST中采用的Transformer的隐藏层维度$d_h$为768，注意力头$N_h$为12，Mamba中一维卷积核大小为4，隐藏层维度为768。在获得增强的时空视觉特征后，特征输入到隐藏层维度为768，Transformer 块为$N_{\mathrm{d}\mathrm{e}\mathrm{c}}=\mathrm{2}$层的解码器中，为每个视频生成字幕。我们在所有注意力、Mamba和其他层上使用0.1的dropout概率。

3.5   其他细节

我们设置最大单词数目$T_{\mathrm{m}\mathrm{a}\mathrm{x}}$为48，最长帧数目$L$为20，字典大小$|\upsilon |$为30522。训练时，批大小（batch size）为32，使用ADAM^［16］训练共30 epochs，对于偏置、归一化的偏置和权重不设置权重衰减，其他参数L2权重衰减系数设置为0.01。学习率初始化为7e-6，预热比例为0.1，在预热期内，学习率线性增加，之后线性衰减为0。在评估/推理时，设置集数搜索的大小为5。

4.   对比实验

为了评估ST2的性能，我们在MSVD，MSR-VTT上进行了实验。我们对比了如下三类最先进的方法：（1）基于检测的：STG-KD^［25］，ORG-TRL^［26］，LSRT^［27］，E-TGM ^［28］和TTA^［29］；（2）检索增强的：OpenBook^［22］，R-ConvED^［23］和CARE^［19］； （3）无检索和检测的：SGN^［43］，HRNAT^［44］，RSFD^［45］，CLIP4Caption^［17］和VEIN^［46］。我们用IRN-V2，RN和3D-RNX分别表示INCEPTION-RESNET-V2^［47］，RESNET^［48］和3D RESNEXT^［34］。

1） MSVD： 如表1所示，我们的方法在所有指标上超越了其他方法，包括其他使用CLIP特征提取的方法，如CARE、VEIN。值得注意的是，除了我们的方法和CLIP4Caption没有提取额外信息，其他方法引入一种或多种额外信息，如运动矢量、检测、检索等。尽管如此，我们的方法也在所有指标上超越了这些方法，其原因是我们的模型设计无须额外信息即避免了引入噪声，另一方面我们对视觉时空信息的充分挖掘和增强起到了作用。

表  1  MSVD数据集对比实验结果

Tab.  1.  Comparison of experimental results on the MSVD dataset

Method	Year	Feature		Detection	Retrieval	MSVD
		Extractor	Motion			C	B@4	M	R
STG-KD	2020	R101	I3D	Object	-	93	52.2	36.9	73.9
ORG-TRL	2020	IRv2	3D-RX	Object	-	95.2	54.3	36.4	73.9
LSRT	2022	IRv2	I3D	Object	-	98.5	55.6	37.1	73.5
E-TGM	2019	IRv2	C3D	Topic	-	83	79.3	33.9	71
TTA	2021	R152	3D-RX	Concept	-	87.7	51.8	35.5	72.4
R-ConvED	2022	IRv2	-	-	√	83.4	50.5	34.4	-
SGN	2021	R101	3D-RX	-	-	94.3	52.8	35.5	72.9
HRNAT	2022	IRv2	I3D	-	-	98.1	55.7	36.8	74.1
RSFD	2023	R101	3D-RX	-	-	96.7	51.2	35.7	72.9
CARE	2023	CLIPViT-B/32	3D-RX	Concept	√	106.9	56.3	39.1	75.6
VEIN	2024	CLIPViT-B/32	3D-RX	-	-	98.9	55.7	37.6	74.4
CLIP4Caption†	2021	CLIPViT-B/32	-	-	-	104.9	56.3	38.7	75.9
Ours	-	CLIPViT-B/32	-	-	-	111.8	57.6	39.8	76.8

下载: 导出CSV 

| 显示表格

2） MSR-VTT：如表2所示，本文方法在三个指标上超越了最先进的方法，虽然在指标B@4上略低CARE模型，但也取得了较好的结果。可能的原因是CARE利用了多种模态信息，提高了概念先验的准确性，而B@4是关注精度的指标，因此CARE在该指标方面具有优势。

表  2  MSR-VTT数据集对比实验结果

Tab.  2.  Comparison of experimental results on the MSR-VTT dataset

Method	Year	Feature			Detection	Retrieval	MSR-VTT
		Extractor	Motion	Audio			C	B@4	M	R
STG-KD	2020	RN-101	I3D	-	Object	-	47.1	40.5	28.3	60.9
ORG-TRL	2020	IRN-v2	3D-RNX	-	Object	-	50.9	43.6	28.8	62.1
LSRT	2022	IRN-v2	I3D	-	Object	-	49.5	42.6	28.3	61
E-TGM	2019	IRN-v2	C3D	√	Topic	-	51.8	44.9	29.6	62.8
TTA	2021	RN-152	3D-RNX	-	Concept	-	46.7	41.4	27.7	61.1
OpenBook	2021	IRN-v2	3D-RNX	-	-	√	52.3	43.1	29	61.9
R-ConvED	2022	IRN-v2	-	-	-	√	48.3	37.8	27.6	-
SGN	2021	RN-101	3D-RNX	-	-	-	49.5	40.8	28.3	60.8
HRNAT	2022	IRN-v2	I3D	-	-	-	48.2	42.1	28	61.6
RSFD	2023	RN-101	3D-RNX	-	-	-	53.1	43.4	29.3	62.3
CARE	2023	CLIPViT-B/32	3D-RNX	√	Concept	√	59.7	48.7	31.5	65.2
VEIN	2024	CLIPViT-B/32	3D-RNX	-	-	-	55.3	44.1	30	62.6
CLIP4Caption	2021	CLIPViT-B/32	-	-	-	-	57.7	46.1	30.7	63.7
Ours	-	CLIPViT-B/32	-	-	-	-	60.3	48.1	31.6	65.2

下载: 导出CSV 

| 显示表格

5.   消融实验

为说明设计的空间增强的SSM和Transformer模块（SH-ST）以及时间增强的SSM和Transformer模块（TH-ST），我们对其构成进行了消融实验，如表3所示。其中，TH-ST表示不采用重排序操作，直接对特征进行拼接，TH-ST^R表示采用重排序操作。由表3可知，随着我们增加设计的SH-ST和TH-ST，相比于基线效果变好。然而，当我们不采用重排序时（Exp.3），效果不如仅使用SH-ST，可能的原因是由于采用拼接操作对于增强时间信息提取无益，甚至可能产生不良影响。当添加重排序时（Exp.4），即ST2模型时，效果达到最佳，说明我们的ST2模型设计增强了时空表达能力，有效提取视频中的信息，从而生成更加准确的文本描述。

表  3  MSVD数据集消融实验结果

Tab.  3.  Results of ablation experiment on the MSVD dataset

Exp.	SH-ST	TH-ST	TH-STR	MSVD
				C	B@4	M	R
1(baseline)				104.9	56.3	38.7	75.9
2	√			111.1	57.4	39.6	76.6
3	√	√		109.6	57.1	39.3	76.5
4(ours)	√		√	111.8	57.6	39.8	76.8

下载: 导出CSV 

| 显示表格

近期有多种的SSM，我们对其进行了实验，如文献［36］中的ViM块，文献［49］中的DBM块，并最终确定采用ViM为本文中状态空间模型的基本块，结果如表4所示。DBM效果相对不佳的原因可能是，该模块设计用于视频特征提取。然而本文模型采用主流的方案，即先用预训练的CLIP提取视频帧特征，随后送入视觉编码器中，这可能是导致DBM效果相对不佳的原因。

表  4  选择不同SSM在MSVD数据集上的性能对比

Tab.  4.  Comparison of the performance of different SSMs on the MSVD dataset

Exp.	DBM	ViM	MSVD
			C	B@4	M	R
1	√		109.3	57.6	39.7	76.1
2(ours)		√	111.8	57.6	39.8	76.8

下载: 导出CSV 

| 显示表格

6.   定性结果

如图4所示，分别展示了MSVD和MSR-VTT数据集上4个字幕示例，我们比较了提出的方法ST2和基线方法，其中基线方法采用CLIP4Caption，即仅使用Transformer架构。预测错误和正确的关键词用红色和绿色标记。本文方法和基线方法（CLIP4Caption）采用预训练的CLIP模型提取视频帧特征，而CLIP是在大规模的图像文本对上训练而成的，导致在提取视频特征时，可能出现时间特征提取不充分，时空联合建模的不足等问题。在CLIP4Caption中，采用一层Transformer视频编码器对提取的视频帧进行增强，但过于简单的视频编码器可能导致视频帧特征增强不足，因而生成部分错误的视频字幕。

图  4  MSVD和MSR-VTT数据集主观实验对比

Fig.  4.  Comparison of subjective experiments on MSVD and MSR-VTT dataset

下载: 全尺寸图片 幻灯片

从图中可观察到ST2的两个优势：（1）我们的方法生成的文本描述相比于基线方法更符合视频内容，实体描述更准确，这可能得益于我们设计的空间增强的SSM和Transformer模块（SH-ST）。例如，ST2精确描述出了（a）中的“小提琴（violin）”，（b）中的“鸡蛋（eggs）”，（e）中的“海绵宝宝和章鱼哥（spongebob and squidward）”。（2）ST2产生更少的错误方面表现得更好，且动作描述更加准确。基线将（c）中的“摔倒在路上（falling on the street）”识别为了“推动汽车（pushing a car）”，将（d）中的“切叶子（cutting leaves）”识别为了“切青洋葱（chopping green onions）”，将（g）中“3d游戏场景”识别为了“骑马（riding a horse）”，而ST2识别并产生了正确的动作描述，如（c）中“摔倒在路上（falling on the road）”，（d）中“切树叶（cutting green leaves）”，（g）中“玩游戏（game is being played）”，进一步说明我们的时空增强的状态空间模型和Transformer模型设计发挥了积极作用。

7.   结论

为了充分增强视觉特征提取，弥补先前模型对视频特征的时空联合建模的不足，以改善字幕识别的准确性，我们提出ST2模型增强时空特征的提取，并引入了在长序列建模具有潜力的Mamba模型。具体地，我们提出时间增强模块TH-ST和空间增强模块SH-ST，二者分别为异构Mamba和Transformer的串并行结构，分别增强时间和空间信息表示。另外，在TH-ST中，我们将SH-ST的输出进行重排序，以促进TH-ST的时间建模。最后，TH-ST和SH-ST模块之间状态空间模型权重共享，这不仅减少了模型的参数量，还增强了模块间的信息共享，提升了模型对视觉特征的时空联合建模能力。实验结果表示，我们的方法ST2超越了大部分对比方法，且消融实验证明了我们所提模块的有效性，为Mamba在实际应用中提供一定的思路。未来将通过高效注意力、优化视觉潜在空间等^［50-52］方式进一步改善特征表示空间及其质量，同时探索更多与新颖的状态空间模型融合方案。