Ai Agent测试相关的开源项目

原创于 2026-07-29 16:46:26 发布 · 226 阅读

本内容遵循CC 4.0 BY-SA版权协议

收录于

AI测试提效

针对“测试自己开发的AI Agent”这个需求，目前开源社区已经有不少可以直接使用的优秀项目。我按功能、性能、安全三大测试维度，为你梳理了以下工具，方便你根据优先级进行选型。

这是验证你的Agent“能不能把事情做对”的基础环节。

项目	核心特点	适用场景
CheckAgent	pytest原生插件，提供分层测试（从Mock单元测试到LLM评判），内置101种安全探测，框架无关（支持LangChain、CrewAI等）。	习惯pytest的Python团队，希望建立从单元测试到功能评估的完整测试体系。
agent-eval	极致轻量、零依赖，同时支持确定性断言（工具调用、控制流）和LLM-as-Judge评估。	追求轻量化、本地优先，不希望引入庞大依赖栈的开发者。
Giskard	模块化Python库，提供giskard-checks （内置Eval检查）和giskard-scan （漏洞扫描），支持多轮对话测试。	需要对Agent进行深度、模块化的功能评估，特别是RAG系统。
Tardi	分层断言机制：先做确定性检查（进程崩溃、超时、JSON Schema），通过后才触发LLM评判，有效控制成本。	对测试成本和效率敏感，希望实现“快速失败”策略的团队。
Agentic Testing Framework	多Agent协作测试：由专门的Tester Agents生成测试并评估“被测试Agent”（AUT），最后由Judge Agent给出最终评分。	希望通过“用Agent测试Agent”的方式，进行更全面、对抗性的功能验证。
AgentUnit	pytest风格的评估工具，适用于自主Agent和RAG工作流，支持用启发式和LLM指标评分。	需要描述可重复场景，并对Agent和RAG流程进行结构化评分。

这类工具帮你验证Agent在高负载、异常情况下的表现。

项目	核心特点	适用场景
EvalMonkey	基准测试(Benchmark)+混沌工程(Chaos Engineering)：内置22个标准基准（GSM8K、MT-Bench等）和28种混沌注入（提示注入、延迟、Schema变异）。	需要量化Agent能力并进行压力测试，验证其在恶劣环境下的韧性。
AgentBench	轻量级基准测试框架，覆盖性能基线、对话质量、长周期任务和工具调用四个维度。	对OpenAgent生态的Agent进行快速、定量的性能评估。
agent-bench	跨供应商基准测试，在同一标准化任务上对比不同模型/供应商的速度、成本和质量。	需要在不同LLM提供商之间进行选型对比。
Agent Health	可观测性与评估框架，通过"Golden Path"轨迹比对和OpenTelemetry追踪，提供深度执行可见性。	需要对Agent执行过程进行细粒度监控和轨迹分析。

这是确保你的Agent不被恶意利用的关键防线。

项目	核心特点	适用场景
Rogue	红队平台(Red Team Platform) ：内置75+漏洞和20种攻击技术（注入、社会工程学等），支持CVSS风险评分和8种合规框架。	需要进行深度安全审计、渗透测试和合规报告。
safelabs-eval	OWASP ASI Top 10对齐：开箱即用，对任何Agent端点执行30个对抗性提示，覆盖全部10个OWASP ASI类别。	需要快速、标准化地检查Agent是否符合OWASP安全标准。
OASIS	全面安全评估框架：支持多轮交互、真实工具调用场景，可配置测试等级(L0-L3)和难度。	需要对Agent在复杂、多轮交互中的安全性进行深度评估。
RedForge AI	证据优先的红队评估框架，支持修复后的回归验证。	需要记录可复现的安全测试证据，并支持漏洞修复后的验证。

部分项目功能更综合，或聚焦于特定类型的Agent。

项目	核心特点	适用场景
Sensei	专业能力认证引擎：提供针对特定角色（SDR、技术支持等）的标准化测试套件。	需要对Agent进行"职业资格"级别的能力评估和认证。
MCPEval	基于MCP协议的评估框架，自动化端到端任务生成和深度评估。	开发的Agent基于MCP协议，需要进行标准化深度评估。
agent-eval (Vercel Labs)	专门测试AI编码Agent ，可断言Agent产生的文件以及工作方式（执行命令、工具调用次数等）。	开发AI编程助手类Agent，需要精细化评估其编码行为。

你可以根据当前最迫切的需求来选择切入点：

如果你刚起步，想快速建立基础测试：从 CheckAgent 或 agent-eval 开始。它们都是轻量、Python友好的框架，能让你快速为Agent编写单元测试和功能评估。
如果你最关心安全性：先用 safelabs-eval 做一次快速扫描，再使用 Rogue 进行深度红队测试。
如果你想量化Agent能力并进行压力测试：EvalMonkey 是首选，它内置了丰富的基准和混沌注入能力。
如果你需要一站式解决方案：可以考虑 Giskard（模块化评估+扫描）或 OASIS（全面安全评估）。

标签

#人工智能