OutSafe-Bench: A Benchmark for Multimodal Offensive Content Detection in Large Language Models

文章主要内容与创新点总结

一、主要内容

随着多模态大语言模型（MLLMs）在日常工具和智能代理中广泛应用，其输出不安全内容（如有毒语言、偏见图像、隐私侵犯、有害虚假信息等）的风险引发广泛关注。现有安全基准在模态覆盖、性能评估等方面存在显著局限，无法全面应对内容安全挑战。

为此，研究团队提出OutSafe-Bench——首个面向多模态时代的综合性内容安全评估套件，核心包含三部分：

1. 多模态双语数据集：涵盖文本、图像、音频、视频四种模态，含18,000条双语（中英）文本提示、4,500张图像、450段音频和450个视频，均按9个关键内容风险类别（隐私与财产、偏见与歧视、犯罪与非法活动、伦理道德、暴力与仇恨、虚假信息与误导、政治敏感、身心健康、版权与知识产权）系统标注，总计23,400条查询。
2. 多维交叉风险评分（MCRS）：通过构建跨风险影响矩阵，量化单一输出中多种风险的共现与相互作用，实现对复杂真实世界安全威胁的精细化评估。
3. FairScore评估机制：一种可解释的自动化多评审加权聚合框架，动态选择表现最优的模型作为自适应评审团，减轻单一模型判断的偏见，提升评估可靠性。

研究对9个主流MLLMs（Deepseek-v3、Claude-3.7-Sonnet、Doubao-1.5-pro-32k等）进行评估，发现这些模型普遍存在安全漏洞，尤其在图像和视频模态中风险较高，凸显了MLLMs内容安全防护的紧迫性。