返回代表工作
ACVF
脑 MRI 与临床语言的多模态融合
ICASSP 2027 · 在投
用轻量对齐连接脑影像、解剖结构与临床语言，无需重训预训练骨干。
- 我的角色
- 第一作者
- 方法与工具
- PyTorch · 3D MRI · BioClinicalBERT · SigLIP
01
问题与挑战
单一 MRI 表征缺少显式解剖与临床语义；融合外部信息时，还需要排除与预测标签直接相关的输入字段。
02
关键贡献
我的贡献
独立设计并实现 MRI、AAL 脑区体积与 BioClinicalBERT 临床文本的三模态融合，以受试者级 SigLIP 对齐连接冻结骨干，完成跨骨干评测与模态消融。
方法流程
编码三种信息：冻结 3D MRI 与 BioClinicalBERT 骨干，提取影像、临床文本和 AAL 脑区体积表征。
受试者级对齐：投影到 256 维共享空间，用 SigLIP 目标连接三种模态。
下游评测：按任务排除标签相关字段，在 1,077 名 ADNI 受试者上进行跨骨干与模态消融。
03
实验结果
排除认知评分输入的 AD 分类中，三个骨干 AUC 平均提升 0.144。BrainIAC 的 ACC 从 64.6% 提升至 84.3%，AUC 从 0.732 提升至 0.922；AnatCL 脑龄 MAE 从 4.924 年降至 4.373 年。
研究进行中，代码与论文暂未公开。