甬江实验室(乐橙科技)
构建弱监督异常检测与 VLM 复核管线,使用 QLoRA 微调 Qwen3.5-VL;ECVA 测试准确率由 65.68% 提升至 78.53%。
完整履历 · 更新于 2026.09.27
具身智能 · 多模态学习 · 模型压缩
宁波大学数学与应用数学专业本科生(2024—2028),曾任东方理工 EAST-Lab 张伟课题组科研助理,研究方向为具身智能、多模态学习与模型压缩。曾在甬江实验室(乐橙科技)从事智能视频分析研发,并在美国 TReNDS Center 开展远程科研。
构建弱监督异常检测与 VLM 复核管线,使用 QLoRA 微调 Qwen3.5-VL;ECVA 测试准确率由 65.68% 提升至 78.53%。
开展 ACVF 脑 MRI 多模态研究,负责方法设计、代码实现、跨骨干实验与模态消融。
设计 17-token Transformer 策略与 PPO 训练流程,结合三路价值估计、GAE、BFS 逃生特征和多目标奖励优化生存、收集与探索。
开展 ReInsVLN 研究,负责视觉压缩模块的前期探索与接入,推进功能实现;协同构建大小脑框架,完成 Go2 / G1 部署并参与实物实验。
本人贡献:负责视觉压缩模块的前期探索与接入,推进功能实现并协同迭代历史压缩策略;协同构建大小脑框架,适配多款 VLN 模型并打通推理与机器人执行的数据链路,完成 Go2 / G1 部署并参与实物实验。
项目结果:R2R Val-Unseen 全量 1,839 episodes:StreamVLN / InternVLA-N1 的 SR 达到 64.27% / 64.44%,较原生模型提高 8.48 / 3.37 个百分点。匹配观测测试中,InternVLA-N1 压缩配置的 prefill 延迟降低 21.77%,KV 存储降低 32.25%。
本人贡献:独立设计并实现 MRI、AAL 脑区体积与 BioClinicalBERT 临床文本的三模态融合,以受试者级 SigLIP 对齐连接冻结骨干,完成跨骨干评测与模态消融。
项目结果:排除认知评分输入的 AD 分类中,三个骨干 AUC 平均提升 0.144。BrainIAC 的 ACC 从 64.6% 提升至 84.3%,AUC 从 0.732 提升至 0.922;AnatCL 脑龄 MAE 从 4.924 年降至 4.373 年。
本人贡献:独立设计并实现局部配对、范数排序与分组配额选择,在第 6 个 Transformer block 后压缩 token;适配四套检测系统,压缩及预算切换无需重训。
项目结果:UCF-Crime / XD-Violence,batch=32:删除 40% token 时编码器加速 1.22–1.28 倍;VideoMAEv2 的 UCF AUC 从 80.63% 升至 81.02%,TimeSformer 的 XD PR-AUC 从 76.69% 升至 77.37%。删除 60% 时,编码器最高加速 1.47 倍。
Prototype-Calibrated Semantic Fusion for Exemplar-Free Class-Incremental Learning
Tri-Branch Calibrated Ensemble for Optimization-Free Incremental Adaptation in Few-Shot Class-Incremental Learning
主要使用 Python、PyTorch、Transformers 与 PEFT/QLoRA 开展模型训练和适配,研究方法涉及 SigLIP 对比学习、PPO 强化学习、弱监督 MIL 与视觉 token 压缩;具有 Habitat/VLN-CE 导航评测、Unitree SDK2 机器人接入,以及 MONAI、NiBabel 脑影像处理经验。项目开发涉及 OpenCV、FastAPI/Flask、SQLite、NumPy/pandas、scikit-learn/XGBoost、Linux/SSH 和 Web 界面实现。