10 分钟用 TaoToken 跑通 LibreChat 多模型会话

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度

把 GPT-5 和 DeepSeek-R1 放进同一个 LibreChat 界面,用一把 Key 在两个会话之间来回切换,是我最近觉得最省事的自托管玩法。TaoToken(TaoToken)把这件事简化成一步:不用分别申请多个厂商的 Key,只需要把 LibreChat 的 OpenAI 兼容端点指到它的统一网关。今天这篇记录 10 分钟从空目录到双会话跑通的完整过程,包含 docker compose 启动命令、环境变量、模型路由清单和两个会话的流式输出画面。

1. 先想清楚:LibreChat 里为什么能同时跑 GPT-5 和 DeepSeek-R1

LibreChat 是一个开源对话前端,Docker 部署后自带 MongoDB,允许用户在一个网页里管理多个会话、多个模型后端。和直接用官方客户端不同,LibreChat 的每个会话可以独立选择模型,模型列表由配置文件里声明的端点提供。端点可以是任意 OpenAI 兼容服务,只要它返回正确的流式格式,LibreChat 就能展示输出。

TaoToken 在其中的角色就是默认供应商:它提供一个统一 Base URL,LibreChat 把这个地址当作 OpenAI 端点的入口。入口后面有哪些模型,以模型广场展示的模型 ID 为准。这也带来一个好处:配置里只需要维护一个端点和一把 Key,就能在两个会话中分别选择不同模型,而不需要为每个模型部署单独的 API 服务。

这里有一个容易混淆的地方。LibreChat 的模型选择器里可以输入的模型 ID 并不是自动从「全世界所有模型」里拉取。它只认两种来源:配置文件里明确列出的模型,或者当前端点通过 /models 接口返回的模型。后者取决于端点是否实现了该接口。为了减少不确定性,本次直接使用配置文件里的白名单方式,把 GPT-5 系列和 DeepSeek-R1 系列都显式写进 librechat.yaml,这样模型选择器里一定会出现这两个入口。

这次任务的目标很直白:开两个会话,A 会话使用 GPT-5 系列模型,B 会话使用 DeepSeek-R1 系列模型,两边都能完成第一次流式回复;随后在两个会话之间来回切换,确认请求不断流、不 401。整个过程不比较模型回答质量,只验证一件事:把 Base URL 换成 https://taotoken.net/api 之后,模型切换和官方端点一样稳定。

2. 十秒准备:Docker 环境、LibreChat 仓库、TaoToken Key

准备动作只有三步,不会消耗太多时间。

第一步确认 Docker Compose 可用。终端执行 docker compose version,能输出版本号就行。LibreChat 官方仓库自带 docker-compose.yml,所以不需要手动搭建 MongoDB。

第二步拿代码。

git clone https://github.com/danny-avila/LibreChat.git
cd LibreChat

第三步创建 TaoToken Key。打开 TaoToken 注册并进入控制台,新建 API Key 后立刻复制保存。这里多说一句:Key 的明文只在创建时展示一次,LibreChat 不会替你保存它。如果你在排障时怀疑 Key 写错,直接新建一把会比猜字符更省事。

创建好之后,整个过程中唯一需要你保管的敏感信息就是 YOUR_API_KEY。后续配置里出现的所有 Key 相关字段都用它占位。如果之前已经创建过 Key,顺手在控制台确认一下配额,避免跑了两条消息之后突然触发额度限制。

3. 把 TaoToken 设为 LibreChat 的默认供应商:docker compose 启动命令与环境变量

克隆好仓库后,先复制配置模板。

cp .env.example .env
cp librechat.example.yaml librechat.yaml

然后编辑 librechat.yaml。打开文件后找到 endpoints 这一节,在下方加入一个自定义端点。这个自定义端点就是 TaoToken,也就是我们要的默认供应商。

endpoints:
  custom:
    - name: TaoToken
      apiKey: YOUR_API_KEY
      baseURL: https://taotoken.net/api
      models:
        default:
          - YOUR_GPT5_MODEL_ID
          - YOUR_DEEPSEEK_R1_MODEL_ID

三个字段的含义很直接:name 是 LibreChat 界面里显示的供应商名称;apiKey 是你在 TaoToken 创建的 Key;baseURL 是 OpenAI 兼容通道的入口地址,不需要带 /v1。如果你之前配过 OpenAI 官方端点,这里的区别就是把 Base URL 换成 TaoToken,并把 Key 换成 TaoToken 的 Key。

关于 models 段,注意我写的是占位符。YOUR_GPT5_MODEL_IDYOUR_DEEPSEEK_R1_MODEL_ID 需要替换成模型广场上看到的具体 ID。这里千万不要凭印象填 gpt-5deepseek-r1 就完事。模型 ID 经常带日期后缀、版本号或大小写差异,只要有一个字符对不上,LibreChat 发出去的请求就会被网关拒绝,界面上表现为 400 或 404。

如果你不想把 Key 明文写在 YAML 里,可以把 apiKey 改成 ${TAOTOKEN_API_KEY},然后在 .env 中追加一行:

echo "TAOTOKEN_API_KEY=YOUR_API_KEY" >> .env

同时在 docker-compose.ymlapi 服务里,把 TAOTOKEN_API_KEY 传进容器环境变量。加完后可以用 docker compose config 检查该变量是否被展开。如果只是想快速跑通,直接用明文 Key 也能启动,但注意别把 librechat.yaml 提交到公开仓库。环境变量方式的好处是换 Key 不用改 YAML,直接改 .env 再重启 api 服务即可。如果你之前部署过 LibreChat,不想动原有配置,也可以在 endpoints.custom 下面新增一条,多个端点会同时出现在模型选择器里。

配置完成后启动:

docker compose up -d
docker compose logs -f api

第一次启动会拉取镜像并等待 MongoDB 就绪,可能要一两次容器重启。看到 API 服务正常监听后,浏览器打开 http://localhost:3080。LibreChat 首次使用需要注册一个本地账号,这部分由自带登录系统处理,和模型 Key 无关。此时模型选择器里应该已经出现 TaoToken 这个供应商,里面有两个未替换的模型 ID。如果没出现,往下看到第 5 章的排障段。

4. 模型路由清单:LibreChat 中 GPT-5 与 DeepSeek-R1 的 ID 规则

「模型路由清单」听起来比实际复杂,落地下来就是一张表。在这套配置里,LibreChat 把模型 ID 原样发送给 TaoToken,TaoToken 根据 ID 把请求转发到对应的模型服务。所以路线是:LibreChat 拿到 ID → 请求送到 https://taotoken.net/api → 网关识别 ID 并路由。

模型 ID 的获取入口只有模型广场。打开 模型广场 后,找到 GPT-5 相关区块和 DeepSeek-R1 相关区块,各复制一个当前可用的完整 ID。复制下来的内容直接粘贴到 librechat.yaml,不要手动打字,尤其是中间可能出现的点号、连字符、日期段。

会话目标系列模型 ID 写法放行方式
A 会话GPT-5 系列YOUR_GPT5_MODEL_ID从模型广场 GPT-5 区块复制
B 会话DeepSeek-R1 系列YOUR_DEEPSEEK_R1_MODEL_ID从模型广场 DeepSeek-R1 区块复制

这张表里没有给出具体 ID,原因是模型广场的 ID 会随版本更新而调整。如果我在这里写死一个字符串,你照着填进去,过段时间可能已经失效,反而会得到「model not found」。字段名 YOUR_GPT5_MODEL_ID 的作用就是提醒你替换,它不是真实模型 ID。

有一点值得说明:LibreChat 的 models.default 列表不仅是白名单,它也决定模型选择器里的默认排序。列表里第一个模型会成为新会话的默认选择。也就是说,如果你把 YOUR_GPT5_MODEL_ID 放在第一个,新会话打开后默认选中的就是 TaoToken 下的 GPT-5 模型,不需要每次都手动选。

如果你希望两个模型在界面上显示得更友好,可以在模型 ID 后面加显示标签。LibreChat 自定义端点支持类似 model_id: 显示名 的写法。本文没有启用它,因为「以模型广场为准」的 ID 规则更通用。等你的模型 ID 稳定后,再给它们加中文标签也不迟。

5. 双会话验证:GPT-5 与 DeepSeek-R1 的流式输出与切换不断流

启动完成、模型 ID 填好后,打开 http://localhost:3080 进入会话界面。先新建两个会话,不要在一个会话里来回换模型。原因很简单:LibreChat 切换模型后,之前对话的上下文容易断裂;要验证「切换不断流」,正确做法是保持两个独立会话,分别锁定两个模型,然后在两个会话之间来回点。

会话 A 在模型选择器里选 TaoToken 的 GPT-5 模型;会话 B 选 TaoToken 的 DeepSeek-R1 模型。两个会话各发一条消息,观察是否以流式方式逐字返回。

下面是流式输出画面对应的文字快照,实际页面上输出会一个字一个字地出现,和 ChatGPT 官方界面类似。这是一次运行记录,不代表公榜,也不代表模型在所有问题上都输出同样内容。

会话 A:

我:用一句话说明 LibreChat 是什么
LibreChat:LibreChat 是一个开源的 AI 对话前端,支持 Docker 部署、多模型接入和本地化模型路由配置。

会话 B:

我:用一句话说明 DeepSeek-R1 的定位
DeepSeek-R1:DeepSeek-R1 是一个强调推理能力的开源语言模型系列,常被用于数学、逻辑和代码类任务。

这里不比较两个模型的回答质量,只是为了确认两件事:会话确实把请求送到了 TaoToken,TaoToken 也确实按模型 ID 路由到了正确的模型。流式输出本身由 LibreChat 渲染,输出中断通常表现为光标停住或页面报错。

然后做切换验证。我的操作顺序是先让会话 A 输出完成,再切到会话 B 发一条消息,再切回会话 A 追问一句,再切到 B 追问一句。实测下来,只要两个会话各自保持上下文,中间的切换没有出现 401 或 404,两个会话都能继续回答。把检查点整理成一张表:

操作期望结果如果失败,先查哪里
会话 A 发出第一条消息逐字返回,无报错控制台确认 Key 有配额;模型 ID 是否复制完整
切到会话 B 发出第一条消息同样流式返回该模型 ID 是否在模型广场可见
再切回会话 A 追问上下文保持,连接不断docker compose logs api 有无 401
连续快速切换 3 次两个会话都能继续对话检查 baseURL 末尾是否误加了 /v1

这里最容易踩的坑有三个。第一个,模型 ID 末尾多了空字符。从网页复制时顺手带上了换行或空格,LibreChat 会原样发出去,于是报 model not found。删掉 YAML 中该行前后的空白后重启即可。第二个,Base URL 写成 https://taotoken.net/api/v1。LibreChat 对 OpenAI 兼容端点会自动拼接路径,多出来的 /v1 会导致 404。第三个,改了 librechat.yaml 但没有重启 api 服务。配置是启动时读取的,改完要执行 docker compose restart api,只刷新页面不会生效。

如果模型选择器里始终没有出现 TaoToken 端点,先看 librechat.yaml 的缩进。endpointscustomname 这三层缩进错了任何一处,LibreChat 都会静默跳过该端点而不是报错,所以视觉上非常隐蔽。正确结构在本文第 3 章已经给出,照着缩进粘贴即可。

跑完整套验证之后,你手上已经有一把能跨模型切换的 Key 配置。最后一步是回到控制台,把这个结果留在账上。打开 模型对话 可以确认刚才两笔调用是否已经入账;想在干净环境再复现一遍对照表,就在 控制台 创建一把新 Key。如果之后要把这套配置给团队共用,可以参考 Coding Plan

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度

相关推荐

Delphi 13.2控件之WizFile.7z

Delphi 13.2控件之WizFile.7z

10 分钟TaoToken LibreChat 多模型对话

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。👉把 LibreChat 拉到本地,再用同一个对话窗口切换两个模型,是我今年最常用的模型对比方式。历史记录集中在一处,切换模型不用重新开会话,适合日常评测也适合团队内部做统一入口。真正卡住大多数人的不是 LibreChat 本身,而是要给每个模型单独配一个供应商。我现在的做法是把模型网关统一指向 TaoToken:它是一个统一 API 兼容道,官网 https://taotoken.net/?

Ceshi01的博客 6

厦门侠客行 厦门旅游景点 KML矢量数据

本资源为厦门侠客行主题旅游地图KML矢量数据。标注了厦门市主要旅游景点、历史文化遗迹与城市地标位置,涵盖鼓浪屿、南普陀寺、厦门大学、曾厝垵、环岛路、胡里山炮台等厦门经典景点,以及环岛骑行路线、步行游览路径等旅行轨迹数据,可在Google Earth中沉浸式规划厦门旅游路线,适用于厦门旅游攻略制定、城市历史文化研究、自由行路线规划等场景。

10 分钟TaoToken LibreChat 多模型切换

本文以本机 Docker 部署 LibreChat,使用 TaoToken 作为统一 API 接入层,在同一个会话中完成 Claude Sonnet 到 DeepSeek-R1 的切换,并用同一问题对比回答风格。配置涉及 docker-compose.yml 与 librechat.yaml,强调 Base URL 填写、模型 ID 需以 TaoToken 模型广场为准。复现过程中记录了两个 401 排障点与 ID 不一致问题,最终在第二台服务器验证可重复。完整配置流程见 https://taotoken.

Ceshi01的博客 6

10 分钟TaoToken LibreChat 本地部署

本文记录 10 分钟TaoToken LibreChat 本地部署的完整过程,重点不是评测模型,而是把 TaoToken 当作统一 API 兼容道,用一份 Key 和 Base URL 让 LibreChat 快速接入多模型。正文提供 docker compose、librechat.yaml 与 .env 的具体写法,强调去掉 /v1、模型 ID 以广场为准、YAML 空格缩进等关键细节,并给出本地实测 394 Token 的对话记录:Prompt 158、Completion 236,首 T

Ceshi01的博客 6

10 分钟TaoToken LibreChat 的 MCP 服务

10 分钟内用 TaoTokenLibreChat 接好远程 GitHub MCP:拿一把 OpenAI 兼容 Key,改模型道为自定义端点,让聊天代理直接读取 issue 并生成三句话摘要。文章按先验证 Key、再配置 Base URL、最后用 curl 排查的复现步骤展开,适合用同一把 Key 在模型广场切换模型。TaoToken 只负责统一鉴权和转发,MCP 服务使用 GitHub 官方远程端点。完整配置流程见 https://taotoken.net/?utm_source=taotoken

Ceshi01的博客 4

10 分钟TaoToken LibreChat 的 Docker 部署

TaoToken LibreChat 的 Docker 部署,核心是写一个 docker-compose.override.yml:把 OPENAI_API_HOST 设为 https://taotoken.net/api,不要追加 /v1;KEY 从官网控制台创建,模型 ID 从模型广场复制。相比默认 OpenAI 地址,这只改供应商,不碰源码,也不在容器里装额外 SDK。启动后发一条固定测试消息,在聊天界面查看 token 计数,再回 TaoToken 控制台核对同一笔入账记录。想比较模型能力

Ceshi01的博客 6

10 分钟TaoToken LibreChat 的 MCP 抓取并追踪 Token

本文记录用 TaoToken 作为默认 LLM 供应商,在 10 分钟内让 LibreChat 挂载开源 mcp-server-fetch,并过 Llama 3.3 70B 抓取 MDN 页面生成摘要的完整实测。文章给出 .env 与 librechat.yaml 的关键配置,对比 maxLength 20000 与 80000 两次调用的输入 Token 差异(4844 vs 15241),并演示如何用 TaoToken 用量页核对会话面板计数。适合想用 MCP 追踪 Token 消耗的开发者复现。访问

Ceshi01的博客 5

10 分钟TaoToken LibreChat 的 Agent 对话的 Token 流向

TaoToken 的 Key 和 https://taotoken.net/?utm_source=taotoken_aicg_blog_end 入口,10 分钟在本地 LibreChat一次带工具调用的 Agent 对话,并逐笔核对 Token 流向。文章以代码解释器为工具,演示了 tool_call、工具结果写回、最终回复三阶段的 prompt 与 completion 变化,列明 Base URL、模型 ID 和容器重启等排障项。全文不依赖公榜分数,只记录同一把 Key 下的复现步骤与控制

Ceshi01的博客 5

10 分钟TaoToken LibreChat 的自定义模型供应商

10 分钟流程:用 TaoToken( https://taotoken.net/?utm_source=taotoken_aicg_blog_end )在 LibreChat 里新增自定义模型供应商。一个 API Key 对应多个模型 ID,配置接口地址时不要额外加 /v1,从模型广场复制真实 ID 填入 endpoints,即可在模型下拉列表切换多个模型并在同一对话里继续对比。包含服务端 yaml 配置示例、三个常见报错排查,以及回 TaoToken 用量页对账的验证方法。全程约十分钟,适合需要横向对比

Ceshi01的博客 6

Python 寄存器位域解析与 JSON 配置工具(芯片开发+寄存器/位域+解析源码+寄存器转储分析)

根据 JSON 指定位宽和字段起止位,解析寄存器数值并显示枚举含义。包含重叠字段、重复名称、位范围和输入数值检查。 适用于嵌入式软件开发人员、驱动开发入门者及相关技术学习者。资源包含源码或模板、使用说明及验证范围说明。Python 3.10+,仅使用标准库;寄存器宽度 1 至 64 位。 功能边界见 README.md,实际验证情况见 TESTING.md。

UAC白名单设置-软件使用

代码下载链接: https://pan.quark.cn/s/a4b39357ea24 用户账户控制(UAC)白名单的配置 Windows7环境中 UAC(User Account Control,用户帐户控制)是由微软在Windows Vista版本中推出的一项旨在增强系统安全性的创新技术,该技术强制要求用户在执行可能干扰计算机正常运作的操作或进行更改会波及其他用户设置的变动前,必须提供相应的权限或管理员密码进行验证过对这些操作启动前进行授权确认,UAC能够有效阻止恶意软件及间谍软件在未获授权的状态下于计算机内进行安装或实施修改。 自从Vista版本问世以来,微软便开始推行这一全新的安全机制,可视为对系统安全防护的显著提升。尽管UAC确实能够在一定程度上对某些非法程序起到防御作用,但与此同时,这一功能也给众多用户带来了诸多不便。 因此,许多用户开始探寻是否存在类似于白名单的功能,以便将那些值得信赖的程序直接赋予运行权限。事实上,这类功能确实存在,不过微软并未将其作为标准配置提供。 网络上关于此问题的绝大多数建议都是建议禁用UAC,这种说法显然缺乏针对性,因为若用户希望禁用此功能,本就不会提出相关疑问。 过运用微软官方发布的Microsoft Application Compatibility Toolkit 5.6版本,可以将信任的程序纳入系统白名单范畴。 获取Application Compatibility Toolkit 安装程序成功后会出现三个可执行文件 以管理员身份启动Compatibility Administrator 在Custom DataBases部分创建新的数据库,并添加一个Application Fix(在下方空白处点击右键,选择...

DELL服务器操作系统安装

下载代码方式:https://pan.quark.cn/s/a4b39357ea24 DELL服务器的操作系统部署流程包含一系列细致的环节,其适用范围涵盖多种操作系统类型,例如Windows Server与Red Hat Linux等。在启动部署之前,必须确认服务器的光驱设备为DVD驱动器,并且需准备对应的系统安装媒介。下面将详细列出完整的部署步骤: 1. **启动准备**:将随服务器提供的Systems Management Tools and Documentation version 6.0光盘置入服务器光驱,随后设定服务器以光驱作为启动设备。此环节旨在确保服务器在启动阶段能够读取安装光盘内容。 2. **语言设定**:服务器启动后,选定简体中文作为部署语言,并确认接受许可协议条款。 3. **时区选择**:在部署期间,需设定时区为北京、香港、重庆或乌鲁木齐,依据实际地理位置进行适配选择。 4. **系统类型选择**:随后,需选定计划部署的操作系统,支持的版本包括Server 2003 SP2、Server 2003 SP2 64位版本、Windows 2003 SBS SP2、Server 2008、Windows 2008 SBS/EBS x64版本等,以及多种Red Hat和SUSE Linux版本。 5. **RAID设定**:若服务器出厂时已预设RAID配置,则可选择跳过此步骤。若需重新设定RAID,操作时需格外小心,因为这一过程可能引发硬盘数据遗失。 6. **引导分区规划**:设定引导分区的大小,常C盘建议预留至少20GB的空间,具体容量需根据系统需求进行调整。 7. **网络设定**:网络设定可在系统部署完成后执行,部署期间建议暂时拔除...

老人自动接视频appp

老人自动接视频app的

HTML5 audio player

代码下载地址: https://pan.quark.cn/s/a4b39357ea24 这是一款模仿酷狗的基于HTML5技术的网络音乐播放器,能够兼容全部mp3格式的音乐文件,用户既可以在联网状态下,也能够在无网络环境下欣赏自己偏爱的歌手作品。对于具备开发兴趣的人员,可以获取其源代码,将其解压并载入MM开发平台实施调整与改进,支持制作成apk(适用于Android系统)和ipa(适用于iOS系统)的应用程序包,随后安装至移动设备使用;或者将该应用项目文件配置到MM应用引擎中,过网页浏览器来预览实际运行状况。MM应用引擎的展示页面:http://html5player.mmapp.cn/client/www/app.html 有关更多应用范例的代码资料,可以访问MM开发环境官方网站进行获取:http://dev.10086.cn/ude/index.do

如何高效推动高校科技成果转化落地,解决产学研对接难的问题?.docx

科易网基于40亿+科创知识图谱数据库,深度探索AI技术在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景,研究科技创新领域的AI+数智化解决方案,推动科技创新与产业创新智能化发展。

上一篇: 10 分钟用 TaoToken 跑通 LibreChat 多模型对话
下一篇: 10 分钟用 TaoToken 跑通 Dify 社区的模型调用
ceshi01
博客等级 码龄18年 1粉丝 4603原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值