DeepSeek-R1 上了 Chatbot Arena：用 TaoToken 复现同一把 Key 的 ELO 测试

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度

TaoToken 的官网在 TaoToken，它不是一个模型，而是一个把模型 API 统一成一把 Key 的兼容通道。这次我把 DeepSeek-R1 接进来，不是为了展示某个 IDE 的配置，而是想照着 Chatbot Arena 的对战逻辑，在本地把 ELO 测试跑起来。先说明白：本地复现 ELO 和官方榜单是两回事，官方数据来自海量匿名投票，本文只提供可复现的方法，不含任何排行分数。如果你之前被各种临时通道折腾过，会更容易理解 TaoToken 的价值：它只负责给你稳定的 Base URL 和 Key，模型本身还是你选的 DeepSeek-R1。下面从建 Key 开始，到算出 ELO 为止，全程不碰生产库，也不让 AI 直接执行命令。

1. 为什么要在本地复现 Chatbot Arena 的 ELO

Chatbot Arena 的机制是随机匿名对战，两个模型收到同一个提示词，由真实用户投票选择哪个回答更好，再用 Bradley-Terry 模型把这些胜负关系换算成 ELO 分数。这个榜单的价值在于众包覆盖，什么问题都可能出现，模型没有针对固定测试集优化的机会。但它的代价也明显：投票用户不是专业裁判，不同时段的流量会带来波动，而且你无法对一个尚未公开的模型或一套自定义 system prompt 做快速判断。

本地复现 Arena ELO 的意义不是挑战官方榜单，而是给“自己的 Key + 自己的提示词 + 自己的判准”一个可重复的沙盒。比如你刚拿到一个模型接口，想知道温度调高是否影响写作质量，或者想比较两个 system prompt 哪个更稳定，你就需要这种对战式的相对评估，而不是单独看一次回答的观感。相对评估能抵消模型输出随机性带来的误导，因为每一轮都是同一个提示词下两个输出的正面竞争，胜负记录累积下来，比“我看了看觉得不错”可靠得多。

公榜参照这边，Chatbot Arena 的官网在 https://lmarena.ai/leaderboard ，我查阅日期写的是 2026-05-18。从该页面能看到 DeepSeek-R1 已经出现在榜单条目中。但本次输入的资料包没有附带任何公榜快照，所以我不引用具体 ELO 数值，避免凭记忆编造。这条边界很重要：本文提到的公榜只有“上榜”这个事实，不会写出“ELO xxxx”之类的数字。你要做对照，请自己打开页面看实时数据。

TaoToken 在这个实验里的角色是 API 供应商，不是对战平台，也不是榜单主办方。它只负责把 DeepSeek-R1 的请求带出去，再把回答带回来。所以后面所有请求 Base URL 都是 https://taotoken.net/api ，Key 在官网创建，模型 ID 以模型广场展示为准。把这一层关系理清，你就不会把模型能力、API 可用性和供应商的稳定性混到同一张表里。

2. 用 TaoToken 接 DeepSeek-R1：配置与模型 ID

先花两分钟做最小准备。打开 TaoToken，注册账号，进入控制台创建一个 API Key，创建后你会看到一个以 sk- 开头的字符串，这个就是 YOUR_API_KEY。注意官网的链接带 UTM，但你的请求 Base URL 不能带 UTM，这是两个完全不同的地址。Base URL 固定为 https://taotoken.net/api，末尾不要加 /v1，也不要加任何查询参数。

接下来要确定 DeepSeek-R1 的模型 ID。模型广场是动态的，我今天在这里看到的 ID，可能和你明天看到的不完全一样，所以我不写死。你在模型广场搜索“DeepSeek-R1”，复制对应条目的模型 ID，放到后面的环境变量里。这个 ID 可能是类似 deepseek-r1-xxx 的形式，但具体以控制台展示为准，别用聊天界面的名字硬套 API 参数。

配置环境变量时，我习惯先导出到当前 shell，避免把 Key 写进脚本文件：

export TAOTOKEN_KEY="YOUR_API_KEY"
export TAOTOKEN_BASE="https://taotoken.net/api"
export TAOTOKEN_MODEL="YOUR_MODEL_ID"

然后用一个最简请求验证连通性。用 curl 检查时不要带 UTM，因为 UTM 是给网页统计用的，加到 API 请求上反而可能被网关拒绝：

curl -s "$TAOTOKEN_BASE/chat/completions" \
  -H "Authorization: Bearer $TAOTOKEN_KEY" \
  -H "Content-Type: application/json" \
  -d "{\"model\": \"$TAOTOKEN_MODEL\", \"messages\": [{\"role\": \"user\", \"content\": \"ping\"}], \"max_tokens\": 16}"

如果返回了一串带 choices 的 JSON，说明 Key、Base URL 和模型 ID 三个要素都对了。这里没必要用 IDE 插件，因为我们要跑的是本地脚本，不是图形界面。你要是习惯用 Python，就装 openai 库，因为 TaoToken 提供的是 OpenAI 兼容接口，base_url 填 https://taotoken.net/api，api_key 填 YOUR_API_KEY，客户端实例就能直接用。这种接法不会把任何业务数据交给第三方代理，AI 也不碰你的生产机。

3. 测试提示词清单：16 道题怎么来的

我设计这组提示词时，没有去抄某个官方 benchmark，而是观察 Chatbot Arena 讨论区里常见题目类型，再结合写作、翻译、代码、数学、推理、角色扮演、多语言等维度，凑成 16 道覆盖度足够的题目。这样做的原因是：本地复现 ELO 的提示词不需要与官方完全一致，只需要保持“同一组提示词在所有参赛者身上跑”的公平性。

清单如下。表格中的每一行就是一轮对战要用的用户问题，模型回答前没有任何额外的 system prompt，除非特别说明。

这 16 道题并不完美，但足够跑通一次完整的对战流程。你完全可以替换成自己的题目，只要保证每一轮对战的两个模型都使用相同提示词即可。提示词的实际构成、顺序和轮次数会影响最终 ELO 波动，所以如果你想对外发布结果，最好把这 16 行清单原样附在 CSV 或 README 里，让读者能复现。

4. 对战流程：用同一把 Key 请求同一个模型的两个参数配置

为什么用同一个模型的两个温度参数，而不是两个不同的模型 ID？因为这次实验聚焦在“复现同一把 Key 的 ELO 测试”。如果你手头只有一把可以访问 DeepSeek-R1 的 Key，又想计算 ELO，最干净的办法就是把 DeepSeek-R1 在 temperature=0.7 和 temperature=1.2 下当成两个参赛者。这个设计能最大化复用同一个模型 ID，避免引入第二个模型 ID 的额外变量。如果你以后想测两个真正的模型，比如 DeepSeek-R1 和另一个模型，只需把脚本中的参数改成两个不同 model 值，其他逻辑完全一样。

对战流程分三步。第一步，对 16 道提示词，分别用低温和高温各生成一次回答，得到 32 份答案。第二步，用一个裁判提示词，让 DeepSeek-R1 自己以 temperature=0 去判断每一对回答中哪个更好。第三步，把胜负结果写入 CSV，用标准 ELO 公式迭代计算两个参赛者的分数。

裁判提示词长这样：

你是无情的裁判。给定用户问题，以及两个模型的回答，请判断哪个更好。只需输出 A 或 B。

这里有个细节：裁判也是 DeepSeek-R1，这意味着它可能有“同模型偏好”的偏差，但对我们测试流程没有致命影响，因为我们比的是两个参数配置的相对优劣，而不是绝对质量。如果想让裁判更独立，你可以换成 TaoToken 上另一个模型 ID，但那就需要额外配置了。

运行脚本的骨架如下，我把它写给读者参考，不包含运行结果，因为本文不做假数据。你需要自行填入 YOUR_API_KEY 和 YOUR_MODEL_ID 后执行：

import openai
import csv
import time

client = openai.OpenAI(
    base_url="https://taotoken.net/api",
    api_key="YOUR_API_KEY"
)
MODEL_ID = "YOUR_MODEL_ID"  # 以模型广场为准

prompts = [
    "请以“路灯下”开头，写一段 200 字左右的散文。",
    "将下面这段中文翻译成英文：“AI 的发展不是取代人，而是让人更聚焦于创造。”",
    # ... 完整 16 道见上一节表格
]

def ask(prompt, temperature):
    resp = client.chat.completions.create(
        model=MODEL_ID,
        messages=[{"role": "user", "content": prompt}],
        temperature=temperature,
        max_tokens=512
    )
    return resp.choices[0].message.content

def judge(prompt, a, b):
    jp = f"用户问题：{prompt}\n\nA 回答：{a}\n\nB 回答：{b}\n\n你只能输出 A 或 B。"
    resp = ask(jp, 0)
    return resp.strip()

results = []
for i, p in enumerate(prompts, 1):
    a = ask(p, 0.7)
    b = ask(p, 1.2)
    winner = judge(p, a, b)
    results.append({
        "round": i,
        "prompt_id": i,
        "model_a": "R1-temp0.7",
        "model_b": "R1-temp1.2",
        "winner": winner
    })
    time.sleep(0.5)  # 友好限速

with open("battles.csv", "w", newline="", encoding="utf-8-sig") as f:
    writer = csv.DictWriter(f, fieldnames=["round", "prompt_id", "model_a", "model_b", "winner"])
    writer.writeheader()
    writer.writerows(results)

这段代码会生成 battles.csv，每行是一次对战，没有记录回答原文和裁判理由。为了可审计，我建议你额外加两列存储 model_a_response 和 model_b_response，或者单独保存一份完整对话日志。CSV 里存原文会让文件变大，但对排查很有用。

ELO 计算可以紧接着做。我用的公式是标准预期胜率：

import csv

ratings = {"R1-temp0.7": 1000, "R1-temp1.2": 1000}
K = 32

def expected(a_rating, b_rating):
    return 1 / (1 + 10 ** ((b_rating - a_rating) / 400))

rows = list(csv.DictReader(open("battles.csv", encoding="utf-8-sig")))
for row in rows:
    winner = row["winner"]
    if winner not in ratings:
        continue
    loser = "R1-temp0.7" if winner == "R1-temp1.2" else "R1-temp1.2"
    ea = expected(ratings[winner], ratings[loser])
    ratings[winner] += K * (1 - ea)
    ratings[loser] += K * (0 - (1 - ea))

print(ratings)

注意，这里把每一轮都当作有效回合，没有考虑平局。如果你遇到裁判输出“A/B 都差不多”这类无效结果，建议丢弃该轮，不要强行归给某一方。ELO 的更新粒度是场次，不是 token 数，所以 16 轮会产生两个最终分数，分数差代表的只是这个小测试集上的相对强弱。

5. 复现 ELO 与官方公开数据对照表

先做一个清晰的边界声明：本文不含排行分数，也不含本地运行结果。原因有两点：第一，输入资料没有提供官方公榜快照，我不能凭记忆编造一个 Arena ELO 数字；第二，我没有在本次写作时执行完整对战，所以也不能假装给出一个“自测某次运行”的值。下面两张表分开列出，读者跑完脚本后自己填。

官方公开数据表

这张表只做参照，不代表 TaoToken 是榜单上的参与方或主办方。公榜上的模型是 DeepSeek-R1，读者通过 TaoToken 的 Key 和 Base URL 接的是同一个模型。TaoToken 不参与竞赛排名，也不应该出现在任何公榜评分的实体列表里。

本地复现表（待运行后填写）

你跑完上一节的代码后，把打印出的分数和胜场败场填进去。如果某一方的 ELO 明显高于另一方，比如差距超过 100，才能在统计意义上说明温度设置带来了可感知的差异；如果只差十几分，基本可以看作是随机波动。因为 16 轮的样本量太小，这个表绝不能拿去和官方榜单拼成一张“综合实力表”。官方榜单的 ELO 来自数十万次投票，本地复现只是方法验证，两者性质完全不同。

对照表的正确用法是这样的：官方榜单告诉你 DeepSeek-R1 在社区真实使用中的大致水平，本地复现告诉你“在你这组提示词、这个温度设置、这个裁判 prompt 下，模型的哪种输出风格更讨喜”。如果两者冲突，不一定是模型变了，更可能是任务分布和裁判偏好不同。记录查阅日期也很重要，因为公榜是动态的，隔一个月看可能就不一样。

6. 跑完后的排障记录

我预期你会遇到几个小问题，按真实优先级列一下。

第一，401 Unauthorized。这表示 YOUR_API_KEY 不对。检查是否从 https://taotoken.net/?utm_source=taotoken_aicg_blog_end 注册后的控制台创建，而不是从某个博客文章截图里复制。Key 是完整字符串，不要把 YOUR_API_KEY 占位符原样留下。第二，404 Not Found。多数是 Base URL 写成了 https://taotoken.net/api/v1 或者 https://taotoken.net/api/，请去掉 /v1 和末尾斜杠，只保留 https://taotoken.net/api。模型 ID 也要再次确认，模型广场里的 ID 不一定和模型公开名完全一致，复制粘贴最稳。

第三，裁判返回了“A/B 都差不多”或空字符串。这是因为模型在温度 0 时依然可能对模糊问题给出模棱两可的裁判结果。解决方案是给裁判提示词加上“如果无法判断，请输出 C，这一轮将被舍弃”。然后在脚本中把 winner 为 C 的行过滤掉。第四，两边回答完全一致，导致裁判无法分出胜负。这通常发生在数学题或简单指令上，温度对这类确定性任务的影响很小。可以把这类题替换成更开放的问题，比如写作、角色扮演和开放式问答，或者增加 max_tokens 让回答更长、更容易产生差异。

第五，CSV 在 Excel 里中文乱码。我在写文件时用了 utf-8-sig 编码，可解决。如果你自己用 open()，记得写上 encoding="utf-8-sig"。第六，脚本跑到一半被限速。TaoToken 对频率有一定限制，具体配额以控制台展示为准。我在每个循环里放了 time.sleep(0.5)，如果你需要更多轮次，建议把间隔拉长到 1 秒，或者使用并发请求前先做一次小批量测试。

最后，回到控制台检查一下刚才这些请求有没有入账。很多 API 聚合通道都有用量明细，你在 TaoToken 控制台应该能看到每次请求的模型、时间、token 估算和状态码。这个对账过程很重要，能让你确认自己创建的那把 Key 真正被使用，而不是某个脚本硬编码了旧 Key。如果你还没创建 Key，现在从官网注册并建一个，然后跑一遍对战脚本，把两个表填完，这次复现就闭环了。

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度