VP-Bench: A Comprehensive Benchmark for Visual Prompting in Multimodal Large Language Models

文章主要内容总结

VP-Bench 是一个针对多模态大语言模型（MLLM）视觉提示（VP）理解能力的两阶段综合基准测试框架。第一阶段聚焦模型对视觉提示的感知能力，覆盖8种VP形状、355种属性组合，基于30K+可视化提示构建问答对，核心评估存在性、计数、定位、指代四大任务；第二阶段探究VP对下游任务的影响，选取医疗图像分析、3D物体识别、面部情绪识别等6类实际场景任务，评估模型整合视觉提示与文本语境的能力。研究通过对28个MLLM（含GPT-4o等专有模型和InternVL3等开源模型）的测试，揭示了VP形状、属性、模型规模等因素对性能的影响，为MLLM的视觉提示理解研究提供了统一参考。

创新点

1. 构建了目前最全面的VP评估框架：相比现有基准，覆盖的图像数量（34,267张）和VP属性组合（355种）分别提升超100倍和40倍，且首次引入去偏问题减少模型幻觉干扰。
2. 提出两阶段递进式评估逻辑：先孤立测试VP感知核心能力，再结合实际下游任务验证实用价值，填补了“VP设计与下游性能关联”的评估空白。
3. 明确了关键影响因素与优化方向：发现规则形状（如边界框、椭圆形）比不规则形状（如掩码、涂鸦）更易被模型识别，添加VP形状文本描述可显著提升理解准确率，为模型训练和提示设计提供具体指导。
4. 开源与专有模型全面对比：验证了开源模型（如InternVL3-78B）在VP感知和部分下游任务中已超越专有模型，为后续研究提供了性能参考基线。

Abstract 翻译

多模态大语言模型（MLLM）已赋能