研究论文2026在投

PairSelect

弱监督视频异常检测的 token 压缩

ICASSP 2027 · 在投

在长视频编码中保留重要 token 和时间覆盖，以更低计算量复用原有检测系统。

我的角色: 第一作者
方法与工具: PyTorch · VideoMAEv2 · VideoMAE · TimeSformer

PairSelect 论文原始框架图。加速比为 batch=32 下的编码器测量，不能直接等同于端到端加速。

问题与挑战

长视频的持续编码开销较高，压缩还需要维持异常检测依赖的时间覆盖，并适配不同视觉骨干。

关键贡献

我的贡献

独立设计并实现局部配对、范数排序与分组配额选择，在第 6 个 Transformer block 后压缩 token；适配四套检测系统，压缩及预算切换无需重训。

方法流程

先建立上下文：保留前 6 个 Transformer block 的密集编码，让 token 充分交互。
再选择 token：执行局部配对、范数排序和分组配额选择，保留原始向量与时序覆盖。
复用检测器：将压缩后的 token 送入后续编码层，直接复用检测权重；压缩与预算切换无需重训。

实验结果

UCF-Crime / XD-Violence，batch=32：删除 40% token 时编码器加速 1.22–1.28 倍；VideoMAEv2 的 UCF AUC 从 80.63% 升至 81.02%，TimeSformer 的 XD PR-AUC 从 76.69% 升至 77.37%。删除 60% 时，编码器最高加速 1.47 倍。

研究进行中，代码与论文暂未公开。