测试工程师转AI测试完整指南：从技术栈到面试真题

原创于 2026-10-26 09:54:12 发布 · 148 阅读

本内容遵循CC 4.0 BY-SA版权协议

本文面向测试工程师提供系统化AI测试转型路径，涵盖Python进阶、大模型评测（RAGAS/DeepEval/Promptfoo）、LLM-as-a-Judge、Agent与RAG测试、Prompt红队安全测试等核心技术栈；给出6个月分阶段学习路线、2个可落地的项目作品建议，并总结AI测试面试高频考点。内容聚焦AI质量保障所需的关键能力，强调工程化评测与真实场景实践。

本文写给所有正在考虑转型的测试工程师/SDET。不讲虚的，从行业现状、技术栈、学习路线、项目实战、面试要点五个维度，把测试转AI这件事讲透。

0. 为什么要写这篇文章？

2026年Q3，我系统拉取了Boss直聘、猎聘、拉勾上"AI测试"“大模型评测”“Agent测试”"AI质量"相关岗位JD共127份，分析了岗位技能要求的Top N关键词。

结论很清晰：

83%的岗位要求Python（你大概率已经会）
76%的岗位要求大模型/LLM评测经验
61%的岗位要求RAG/知识库测试经验
54%的岗位要求Agent/多轮对话测试经验
47%的岗位要求AI安全/红队测试经验
39%的岗位要求CI/CD质量门禁设计经验

传统测试的"会用例设计、会接口测试、会自动化"这些能力，是基础分；上面这些AI相关的，才是决定你能不能拿到offer的差异化能力。

1. 三条转型路径的技术栈对比

路径	核心技术栈	学习周期	难度	薪资涨幅
A. AI评测工程师	Python + RAGAS + DeepEval + Promptfoo + LLM-as-Judge	4-6个月	⭐⭐⭐	30%-50%
B. AI辅助SDET	Copilot/Cursor + Playwright/Pytest + Prompt工程	2-3个月	⭐⭐	10%-20%
C. AI应用开发	LangChain + RAG + 向量数据库 + CrewAI + MCP	6-9个月	⭐⭐⭐⭐	50%-100%

本文重点讲路径A，因为它是测试出身最顺、岗位缺口最大的选择。

2. 路径A的技术栈拆解

2.1 基础层（必须掌握）

Python进阶：Requests（调大模型API）、Pytest（写评测脚本）、Pandas（处理评测数据）、异步基础（aiohttp并发调API）
大模型基础概念：
- Token、上下文窗口（context window）、温度（temperature）、top_p
- Function Calling / Tool Use
- 幻觉（hallucination）产生的原因
- RAG（检索增强生成）的完整流程
- Agent（智能体）的工作循环：感知→规划→行动→观察
API调用：DeepSeek、豆包、通义千问、OpenAI兼容接口，能独立完成多轮对话、Function Calling调用

2.2 评测框架层（核心竞争力）

RAGAS：RAG评测的事实标准
- faithfulness（忠实度：回答是否基于检索内容）
- answer_relevancy（答案相关性）
- context_precision（上下文精确度）
- context_recall（上下文召回率）
- 能独立构造测试集、跑评测、输出报告
DeepEval：单元测试风格的LLM评测框架
- hallucination metric
- toxicity / bias metric
- PEX（Expected Behavior Score）
- 能像写Pytest一样写LLM评测用例
Promptfoo：Prompt回归与红队
- 批量Prompt变体测试
- 对比不同模型的输出
- 红队测试（Prompt injection、jailbreak）
- CI/CD集成