OpenHands 实战：TaoToken 跑通 llama.cpp 的 CMake 交叉编译

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度

1. 为什么用 OpenHands 跑 llama.cpp 交叉编译

这次我把 OpenHands 接到 TaoToken 的统一 API 端点上，目标是让它独立完成 llama.cpp 的 CMake 交叉编译。Key 在 https://taotoken.net/?utm_source=taotoken_aicg_blog_generate&utm_content= 创建，模型选 DeepSeek V4.1 Flash（模型 ID 以模型广场为准）。选交叉编译这个任务，是因为它比普通编译更容易暴露 Agent 的短板：它要自己安装交叉工具链、写 CMake toolchain file、理解目标架构，还要分清「编译成功」和「能本机运行」是两回事。

llama.cpp 是推理框架里构建链路比较清晰的一个仓库，CMake 配置项多，交叉编译时经常踩到 GGML_NATIVE、OpenMP 这类和宿主机 CPU 绑定的选项。我手头有一块 aarch64 的开发板，但平常开发都在 x86 云主机上，正好用这个场景看一看 OpenHands 能不能把「为目标架构构建」这一步做完整。整个实验放在临时容器里跑，不碰生产环境。OpenHands 本身是一个开源 Agent，它在自己的 work 目录里执行命令、读报错、改文件，我这边只挂载一个临时 workspace。它要完成的不只是执行一段 cmake 命令，而是要先装工具链、判断该传什么参数、最后验证产物格式。

这一篇不引用任何公榜分数。像 Terminal-Bench 或 SWE-bench Verified 这类基准，在没有官方快照和完整复现条件时不硬凑。只看一次具体任务能不能独立跑通，这对选型有更直接的参考意义。实验环境是这样的：OpenHands 用 Docker 方式运行，宿主机是 x86_64 Ubuntu 22.04，工作区目录挂载到容器 /opt/workspace；目标架构 aarch64，大致对应 RK3588 或树莓派 5 这一类开发板；llama.cpp 用主分支当日快照，不锁定到具体 commit，因为这次关注的是流程能否打通，而不是复现某一个 commit 的构建行为。

2. OpenHands 接入 TaoToken：配置片段与几个注意点

OpenHands 支持通过环境变量指定大模型服务的地址和 Key。最核心的三个变量如下，Base URL、API Key、模型 ID 各对应一个：

export LLM_BASE_URL="https://taotoken.net/api"
export LLM_API_KEY="YOUR_API_KEY"
export LLM_MODEL="<DeepSeek V4.1 Flash 的模型 ID，以模型广场展示为准>"

三个变量各有各的作用：LLM_BASE_URL 是统一 API 端点，LLM_API_KEY 是从 TaoToken 控制台 创建的 Key，LLM_MODEL 是在模型广场里选中 DeepSeek V4.1 Flash 后得到的模型 ID。这里有一个容易踩的坑：LLM_MODEL 不要凭记忆写，从模型广场复制，因为同一个模型在版本迭代后可能对应不同的 ID。TaoToken 只是统一 API 通道，公榜上出成绩的是模型本身，这里我只是用同一把 Key 和同一个 Base URL 把模型接到 OpenHands。

我用 UI 模式启动 OpenHands，环境变量直接传进 Docker：

# 镜像 tag 以 OpenHands 官方仓库为准，本次用 main
docker run -d --name openhands-tt \
  -e LLM_BASE_URL="https://taotoken.net/api" \
  -e LLM_API_KEY="YOUR_API_KEY" \
  -e LLM_MODEL="<模型 ID>" \
  -e WORKSPACE_MOUNT_PATH="/opt/workspace" \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v "$(pwd)/workspace:/opt/workspace" \
  -p 3000:3000 \
  ghcr.io/all-hands-ai/openhands:main

这里有几个细节需要说明。第一，Base URL 直接填 https://taotoken.net/api，不加 /v1，也不用拼 /chat/completions，OpenHands 会按 OpenAI 兼容协议自己补全后面的请求路径；不要给 Base URL 地址加 UTM 参数，那是给网页落地页用的，API 请求只认地址本身。第二，WORKSPACE_MOUNT_PATH 把宿主机当前目录下的 workspace 挂到容器里，Agent 写文件只发生在工作区内，不会碰宿主机其他路径。第三，不同版本的 OpenHands 对环境变量字段名可能有细微差别，以你自己安装的版本为准。

启动后打开 3000 端口，新建会话，右侧就能看到 Agent 开始工作。选 DeepSeek V4.1 Flash 而不是更大的模型，原因很实际：这类 Agent 构建任务有大量「试错-改-再跑」的循环，Flash 类模型在延迟和成本上更适合快速迭代。如果用顶配模型，一次工具调用要多等好几秒，整个任务的卡顿感会很明显。模型 ID 如果填错，会话一开始会报 404 或 model not found，回模型广场复制完整 ID 再重启会话即可。我这次运行没有遇到这个问题，但值得单独列出来，因为它是 OpenHands 接任意 API 网关时最常见的配置错误。

3. 让 Agent 跑通 llama.cpp 的 CMake 交叉编译

在 OpenHands 新建会话后，我给了它一段比较明确的任务描述，故意把验证方式也写进去：

在 /opt/workspace 下完成 llama.cpp 的 aarch64 交叉编译。

要求：
1. 拉取 llama.cpp 源码到 /opt/workspace/llama.cpp。
2. 安装交叉编译工具链 gcc-aarch64-linux-gnu 和 g++-aarch64-linux-gnu。
3. 在源码根目录创建 toolchain-aarch64.cmake，指定 target 为 Linux + aarch64。
4. 用 CMake 配置到 build-aarch64 目录，构建类型 Release，关闭 GGML_NATIVE。
5. 执行构建，最后用 file 命令确认生成的 llama-cli 是 aarch64 格式。

Agent 的处理路径比较直接：先更新 apt 并安装工具链，再 clone 源码，然后自己写了一个 toolchain 文件。它生成的 toolchain 文件整理后大概是这样：

set(CMAKE_SYSTEM_NAME Linux)
set(CMAKE_SYSTEM_PROCESSOR aarch64)

set(CMAKE_C_COMPILER aarch64-linux-gnu-gcc)
set(CMAKE_CXX_COMPILER aarch64-linux-gnu-g++)

set(CMAKE_FIND_ROOT_PATH /usr/aarch64-linux-gnu)
set(CMAKE_FIND_ROOT_PATH_MODE_PROGRAM NEVER)
set(CMAKE_FIND_ROOT_PATH_MODE_LIBRARY ONLY)
set(CMAKE_FIND_ROOT_PATH_MODE_INCLUDE ONLY)

第一次跑 CMake 配置时，Agent 没有加 GGML_NATIVE=OFF，交叉编译工具链在探测宿主机 CPU 特性时直接报错。Agent 读了报错信息后，把配置命令改成下面这样才通过：

cmake -B build-aarch64 \
  -DCMAKE_TOOLCHAIN_FILE=toolchain-aarch64.cmake \
  -DCMAKE_BUILD_TYPE=Release \
  -DGGML_NATIVE=OFF

构建阶段是常规操作：

cmake --build build-aarch64 -j 4

-j 4 给得比较保守，整个构建持续三分钟左右。构建日志的尾部长这样：

[ 96%] Building CXX object tools/llama-cli/CMakeFiles/llama-cli.dir/llama-cli.cpp.o
[ 98%] Building C object common/CMakeFiles/common.dir/sampling.cpp.o
[100%] Linking CXX executable bin/llama-cli
[100%] Built target llama-cli

这一步之后的验证很关键。Agent 一开始尝试直接执行 build-aarch64/bin/llama-cli -h，我当然清楚这是交叉编译出来的 aarch64 二进制，在 x86 宿主机上跑不了。Agent 看到 exec format error 后换成 file 验证，输出是这样的：

file /opt/workspace/llama.cpp/build-aarch64/bin/llama-cli

/opt/workspace/llama.cpp/build-aarch64/bin/llama-cli: ELF 64-bit LSB executable, ARM aarch64, version 1 (SYSV), dynamically linked, interpreter /lib/ld-linux-aarch64.so.1 ...

到这里，任务才算真正完成。交叉编译的完成标准不是构建命令退出码为 0，而是生成的产物确实属于目标架构。llama.cpp 还有 GGML_OPENMP、GGML_BACKEND_DL 等选项，但交叉编译场景下配置越少越稳，只保留 CMAKE_BUILD_TYPE=Release 和 GGML_NATIVE=OFF 即可。GGML_NATIVE=OFF 是这次能配置成功的关键：如果开着，CMake 会在宿主机上探测 x86 指令集，生成的目标代码就偏了。Agent 在第一次失败后能自己定位到这个开关，说明它读报错的能力比预想中好。

4. Token 消耗、上下文长度与三个实际观察

这次运行的过程记录整理成了下面的表，只描述 Agent 的行为，不涉及模型能力评分：

会话结束后，TaoToken 控制台对账页显示本次消耗约 5 万 token。这个数字只代表我这次单次运行的结果，不代表公榜，也不代表模型排名。如果 Agent 在第一步没有找到合适的工具链安装方式，或者反复尝试不同的 CMake 参数，token 消耗会明显更高。实际跑任务时，token 数量主要取决于 Agent 的探索路径，而不是任务文本本身的长度。

关于上下文长度，我观察到一些实际情况。DeepSeek V4.1 Flash 的上下文窗口以模型广场标注为准，而这次任务里最长的工具输出是 apt 安装日志，几千行文本。OpenHands 会把长输出折叠成摘要再交给模型，因此整个任务过程中上下文没有被日志刷爆。Agent 始终记得最初的验证要求，CMake 配置改完直接进入构建阶段，没有重新解释任务，也没有把之前的命令重复一遍。

三个值得记录的观察。第一个是 Agent 对装工具链的处理比预期顺，它没有下载大而全的 SDK，直接用发行版自带的 aarch64 交叉编译器，这对依赖不复杂的项目足够。第二个是交叉编译产物不能直接执行，这一点需要验证步骤兜底；如果不把 file 命令写进任务要求，Agent 很可能把链接成功当成终点，它不是不会验证，而是默认按本机场景处理。第三个是这个任务需要的上下文其实不多，长日志经过折叠后不再干扰决策；像这种结构化任务，Flash 类模型的响应速度比更重的模型更跟手，Agent 每一步都要等模型返回，低延迟比纸上高几个点的编码分更影响体感。

5. 用同一把 Key 复现对照表

如果你想复现这次任务，只需要四步：先在 TaoToken 控制台 创建一把 Key，再到模型广场复制 DeepSeek V4.1 Flash 的模型 ID，然后按第 2 节的 Docker 命令启动 OpenHands，把第 3 节的任务描述粘贴进去。跑完后回控制台对账页，就能看到本次会话真实消耗的 token 数，可以和我上面那张执行记录表对比。

如果是团队长期跑 Agent 任务，建议看一下 Coding Plan，按会话量选套餐比按量计费更容易预估成本。模型 ID 忘了的话，打开 模型对话 确认 Flash 模型是否与你选的一致，再回去改配置。创建 Key 的入口在 控制台，历史会话的 token 消耗也能在同一个控制台里按时间拉出来核对，方便和这篇的执行记录对账。

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度