Aider Polyglot 评测：TaoToken 实测同一把 Key 的 Token 成本

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度

1. 用 TaoToken 同一把 Key 跑 Aider Polyglot：评测任务与环境

用同一把 TaoToken Key 连续跑两轮 Aider Polyglot 评测，是我最近在做的成本对照实验。在 TaoToken 创建 Key 后，Aider 的 API Base 填 https://taotoken.net/api，两轮之间只改 --model 参数：一轮用 GPT-5，一轮用 Claude Sonnet 4.5。这里的重点不是比谁回答得更聪明，而是记录固定题目池下，prompt、completion、cache 三部分 token 的消耗差异，以及两次运行留下的 git diff 到底差在哪。Aider Polyglot 基准本身就是一组跨语言的小型编码题，Aider 会在基准模式下逐个题目调用模型，让模型直接修改仓库里的源文件，然后运行测试验证是否通过。和 SWE-bench Verified 这类动辄构造大型仓库的基准不同，Polyglot 的每个题目上下文都更短、更干净，很适合做成本基线：两次运行读取的是同一批题目文件，repo map 结构基本一致，token 波动主要来自模型自身的回复长度、是否重复粘贴代码，以及缓存命中情况。

我需要先把评测环境说清楚。Aider 在基准模式下工作，和平时结对编程有一点关键差异：它要求当前目录是一个 git 仓库，模型每完成一个题目，Aider 会自动生成提交，最后的通过数和失败数会汇总到终端。所以评测目录必须干净，不能用你正在开发的真实项目来跑，否则模型生成的代码会混进业务仓库，git diff 也没法对照。我的做法是新建一个空目录，初始化 git 仓库，再让 Aider 的 --benchmark --polyglot 自己去拉题目。这样做的好处是，两轮运行的起点完全一致，最终 diff 的差异只来自两个模型各自的实现方式。如果你电脑上已经装过 Aider，先用 aider --version 记录一下版本号；本文不固定某个 Aider 版本，因为 Polyglot 题目池本身会随仓库更新，版本不同拉到的题目数量可能不同，成本表也会变。

关于两个模型的选择，GPT-5 和 Claude Sonnet 4.5 是两种计费思路的代表。前者的输入输出都走同一套 token 计费逻辑，后者的定价体系里缓存 token 占的比重更明显。通过统一网关来接这两个模型，比分别注册两家官方 API 更便于对账，因为两轮消耗会落到同一个控制台，用一把 Key 就能看到各自累计的 prompt 与 completion 量。这里要特别说明：文章里出现的 gpt-5 和 claude-sonnet-4.5 是任务书使用的模型代号，你真正运行命令前，要去 TaoToken 的模型广场确认当天开放的模型 ID 是什么，以广场展示为准，不要凭记忆手敲一个类似的 ID。

2. Aider CLI 接入 TaoToken 的完整配置：Key、Base URL、模型 ID

这一节要解决的是怎么把 Aider CLI 的请求从官方端点切换到统一网关。TaoToken 的职责在这里很简单：发 Key，提供路由。你在 TaoToken 官网注册后创建一把 YOUR_API_KEY，Aider 的所有请求就通过这把 Key 发到 https://taotoken.net/api。注意这个 Base URL 末尾没有 /v1，因为网关侧已经处理过版本路由，不需要客户端再补一层。很多人在这一步习惯性地补上 /v1，结果就是 404，这个我们放到最后的排障里细说。

我推荐用配置文件而不是每次敲一长串参数。Aider 默认会读取 ~/.aider.conf.yml，把 Key 和 Base URL 写进这个文件后，切换模型只需要改 --model，不会误改到其他变量。配置文件内容如下：

openai-api-base: https://taotoken.net/api
openai-api-key: YOUR_API_KEY
benchmark: true
polyglot: true

注意这里没有写 model 字段，目的是把模型选择权留在命令行。如果你把模型写死在配置文件里，那每次切换都得改文件，反而违背了“同一把 Key 只改 --model”的评测思路。保存好配置文件后，第一轮运行命令就是：

cd polyglot-repro && aider --model gpt-5

第二轮只需替换模型参数：

aider --model claude-sonnet-4.5

如果你不习惯用配置文件，Aider 也支持把所有参数塞进一条命令，两种写法等价。下面是完整的命令行版本，适合在别人的机器上快速复现：

aider \
  --benchmark --polyglot \
  --openai-api-base https://taotoken.net/api \
  --openai-api-key YOUR_API_KEY \
  --model gpt-5

第二条命令把 --model 换成 claude-sonnet-4.5，其他部分保持不变。这里有个容易踩的误区：有人以为切换模型也要换 --openai-api-base，其实不需要。统一网关的价值就是在同一入口背后路由不同模型，Key 和 Base URL 都是同一套，唯一变化的只有模型 ID。

还有一点值得注意，Aider 本身支持从环境变量读取 API 配置，所以你也可以用 export OPENAI_API_BASE=https://taotoken.net/api 和 export OPENAI_API_KEY=YOUR_API_KEY 来设置。但我实际跑下来，环境变量在终端会话切换后容易丢失，而且你同时开着多个终端时，不同终端可能用了不同的环境变量，等评测跑完才发现其中一轮走了错的端点，数据就作废了。配置文件更稳一些，它固定在用户目录，不会因为开了新 shell 而失效。

3. 实测记录结构：prompt、completion、cache 三部分 token 的对照表

既然评测目的是成本，就不能只看一个“总 token 数”。Aider 每处理一个题目，都会产生多次模型调用：第一次是构建 repo map 和读取题目，之后是把模型生成的代码写回文件并继续对话。这里面大量输入是重复的，比如仓库结构、题目描述、历史修改记录。模型支持 prompt caching 时，这些重复输入会命中缓存，cost 会明显低于全量计费。所以我把表格拆成三列：prompt tokens 代表非命中的输入量，completion tokens 代表模型生成的输出量，cache tokens 代表命中的缓存量。

下面这张表是复现记录表，不是公榜数据。跑完命令后，把 Aider 终端输出的数据填进来即可。本文不预设任何通过数和 token 数值，因为一旦由博主编造，这个评测就失去意义了。

在填这张表之前，你要先弄清楚 Aider 在终端里输出的 usage 是哪一种。OpenAI 风格返回的是 prompt_tokens、completion_tokens，缓存信息藏在 prompt_tokens_details.cached_tokens 里；Anthropic 风格则直接返回 cache_read_input_tokens 和 cache_creation_input_tokens。统一网关会把原始响应原样透传给你，所以 Aider 显示什么字段，你就记什么字段，不要手动把它们合并成“总输入”。原因很简单：缓存的计费单价远低于普通输入，如果混一起，你会误以为两轮成本差不多。本文不含任何公榜排行分数，只记录一次本地复现结果；一次运行只代表当前命令、当前模型 ID、当前题目池下的表现，不代表公榜。

还有一个值得观察的点：两轮运行即使通过数完全一样，completion tokens 也可能差很多。原因是有些模型在改代码时喜欢把整段函数重新贴一遍，有些模型只输出很小的变化片段。Aider 本身会要求模型输出完整文件吗？这取决于题目类型和 Aider 的编辑格式。Polyglot 题目覆盖好几种主流语言，每种的编辑形式略有差异，所以 completion 的波动空间不小。做成本对比时，重点关注通过每一道题平均消耗的 token 数，而不是只看总分。另一个有用的做法是记录题目池总数，因为 Polyglot 仓库更新后题目会增减，不同时间跑两轮，题目数量不一致，token 对比就不公平。

4. 两次 git diff 的差异分析与记录模板

Aider 的基准模式每通过一个题目会生成一次 commit，所以两轮评测各自留下一条完整的提交链。要对照两个模型的实现差异，不能只看最后跑出来的通过数，还要看最终的代码长什么样。这里的核心操作是：跑完第一轮后，立刻把 git diff 导出来保存，再开第二轮；不要让两轮的 commit 混在同一个仓库里。实操上我建议直接复制整个评测目录，比如把第一轮目录重命名为 polyglot-gpt5，再新建一个干净目录跑第二轮，这样两个 diff 互不干扰。导出命令如下：

git log --oneline | tail -5
git diff $(git rev-list --max-parents=0 HEAD) HEAD --stat
git diff $(git rev-list --max-parents=0 HEAD) HEAD > gpt5-round.diff

第二条命令的含义是：找出仓库里第一个 commit 的哈希，再对比它和当前 HEAD 的完整差异。--stat 让你先看一眼变更范围，完整 diff 则写入文件。Claude Sonnet 4.5 那轮用同样命令导出到另一个文件。下面两个代码块是 diff 记录模板，复现完成后把你本地的内容贴进去，不要在没跑之前粘贴任何人给的现成 diff。

# gpt5-round.diff 记录模板
# 复现后粘贴第一轮完整 git diff 内容

# claude-sonnet-4.5-round.diff 记录模板
# 复现后粘贴第二轮完整 git diff 内容

虽然这里没有直接贴实际 diff 内容，但对照两轮 diff 时，我建议你留意四个维度。第一，变更文件数量。大部分 Polyglot 题目只要求改一个源文件，但如果模型自作主张修改了测试辅助文件，变更文件数就会变大，这通常不是加分项。第二，新增行数和删除行数的比例。有的模型会先删除大段代码再重写，有的模型只在原有函数内部做小改动，后者在 diff 可读性上明显更好。第三，diff 里是否出现与题目无关的改动，比如把单引号改成双引号、调整空行，这类噪音会让 review 成本上升。第四，commit 历史是否连续。如果中间出现多个“fix”commit，说明模型自己 run test 失败后又在下一轮修补，这也对应着更多的 completion tokens。

更准确的成本对照是把 diff 的行数和 token 消耗联系起来看。一般情况下，completion tokens 越高，最终 diff 的变更行数也会越高，但两者之间并不是严格线性关系。有些模型倾向于在回复里加入解释性文字，再给代码，这些解释不计入最终 diff，却会计入 completion tokens。所以成本表里的 completion 列，实际上包含了一部分“没落在最终代码上”的输出。如果你发现某个模型 completion tokens 偏高但 diff 很小，不用惊讶，那多出来的 token 大概率是对话里的补充说明。

5. 复现步骤与本次排障记录

整个复现流程按顺序做，大概需要 15 到 30 分钟。第一步，安装 Aider：python -m pip install -U aider-chat。第二步，创建 Key，这一步是在 TaoToken 官网完成，注册后进控制台生成 YOUR_API_KEY。第三步，建空目录并初始化 git 仓库。第四步，写入 ~/.aider.conf.yml，配置内容见前面章节。第五步，跑 aider --model gpt-5，等终端出现完整 summary。第六步，把第一轮目录改名保存，用同样命令跑第二轮。第七步，分别导出两个 diff 文件，把终端 summary 里的三部分 token 填入表格。

排障部分只讲我在这次配置里遇到过的三个错误。第一个是 Base URL 多写了 /v1。Aider 的 --openai-api-base 参数并不会帮你补全路径，而 TaoToken 的路由已经包含版本处理，所以正确写法就是 https://taotoken.net/api。如果你填的是 https://taotoken.net/api/v1，请求会落到不存在的路径上，直接 404。第二个是 Key 复制不完整。API Key 长且包含连字符，手动转录很容易漏字符，正确做法是直接从官网控制台复制，不要手打。Aider 报 401 时，先检查这个 Key 有没有多余空格。第三个是模型 ID 与广场不符。即使你在官方文档里看到过 gpt-5，也不代表网关这边接受同样的 ID，运行前先打开 TaoToken 的模型广场，把当前展示的 ID 复制进 --model 参数。配置文件中没有写死模型 ID，正好方便这一步改成广场实际值。

评测跑完后，回到官网页面的用量记录里，对照这次两轮的调用是否入账，确认网关侧统计出的 prompt、completion、cache 数值与本地 Aider summary 一致。如果你打算把这组对照作为日后选型参考，就创建自己的 Key，按上面的步骤再跑一遍，把两张表填满，形成一份属于你自己的成本基线。

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度