文章总结与翻译
一、主要内容
本文针对3D医学成像中视觉语言建模（VLM）面临的高分辨率长序列处理、2D与3D模态不兼容、细粒度临床细节捕捉不足等核心挑战，提出了名为BTB3D（Better Tokens for Better 3D）的因果卷积编码器-解码器框架。该框架通过改进的令牌化、重建策略和三阶段训练流程，实现了2D与3D训练推理的统一，在放射学报告生成和文本条件3D CT合成两大关键任务上达到state-of-the-art性能。
核心技术方案
- 模型架构：采用3D Haar小波压缩实现频率感知的输入表示，通过因果3D卷积编码器生成紧凑的体素令牌，结合无查找表量化技术提升效率，解码器镜像编码器结构并保持因果性以确保时序一致性。
- 三阶段训练：
- 阶段1：基于短序列（2D切片或9切片子体积）预训练，学习局部空间和时空结构；
- 阶段2：采用重叠时间切片策略，扩展至更长序列，保证时序一致性；
- 阶段3：冻结编码器，仅微调解码器，增强长程解剖结构依赖建模。
- 下游任务适配：
- 报告生成：将BTB3D编码器输出的令牌通过线性层映射至LLaMA 3.1-8B输入空间，实现自动报告生成；
- 文本到CT合成：结合基于Transformer的生成模型与交叉注意力机制，从自由文本提示生成高保真3D CT体积。
订阅专栏 解锁全文
3695
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
