超级会员免费看
总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328
“Do Anything Now”: Characterizing and Evaluating In-The-Wild Jailbreak Prompts on Large Language Models
“立即行动”：在大型语言模型上表征和评估野外越狱提示
https://dl.acm.org/doi/pdf/10.1145/3658644.3670388
https://github.com/verazuo/jailbreak_llms
https://www.doubao.com/chat/2737010530194946
文章目录
速览
这篇论文主要研究大语言模型（LLMs）的越狱提示攻击问题，通过收集和分析大量数据，揭示了越狱提示的特点、攻击策略以及对LLMs的威胁程度，并评估了现有防护机制的有效性。
- 研究背景：大语言模型应用广泛，但存在被滥用的风险，比如产生错误信息、助长阴谋论等。为应对这些问题，各国出台了相关法规，模型供应商也采取了如强化学习从人类反馈（RLHF）等措施来保障模型安全。然而，越狱提示攻击能绕过这些防护，诱导模型生成有害内容，目前研究界对其了解不足。
- 数据收集：研究人员从Reddit、Discord、相关网站和开源数据集这四个平台收集了15140条提示，经过筛选，确定其中1405条为越狱提示，涉及803个用户账户。这些数据涵盖2022年12月至2023年12月，且经过人工验证，确保了数据的可靠性。
- 越狱提示分析：一是越狱提示的传播平台发生了变化，2023年9月起，网站成为主要传播平台；参与的用户中多数是业余的，不过有28个用户持续优化越狱提示。二是越狱提示通常比普通提示更长，且在语义上与普通提示相似，难以区分。三是通过图社区检测算法，识别出131个越狱提示社区，不同社区有不同的攻击策略。
- 越狱提示有效性评估：研究人员构建了包含13种禁止场景、107250个样本的问题集，在6个代表性LLMs上进行实验。结果显示，即使是经过RLHF训练的模型，对越狱提示的抵抗能力也较弱。一些场景如政治游说、法律意见和色情内容等，容易受到越狱攻击。此外，研究还发现提示长度与攻击成功率的相关性较弱。
订阅专栏 解锁全文
288
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
