Windows 本地运行 OpenClaw 调用自己部署的云端 Qwen3模型实战教程

关注

原创 2026-03-16 10:33:42 759 阅读 AI 写同款· GEO 优化 ›

Qwen3本地部署实战：ComfyUI、Agentscope与OpenCLAW集成指南大语言模型（LLM）的本地化部署正从‘能跑’迈向‘跑得稳、算得准、耗得少’的新阶段。Qwen3并非单一模型，而是支持多模态理解（VL）、Agent推理优化、轻量级量化（AWQ/GGUF/MLX）及结构化文档解析协同的能力模块集。其核心价值体现在长上下文处理、指令跟随精度提升与硬件感知型推理加速上，尤其适用于ComfyUI图像提示生成、Agentscope智能体任务规划及OpenCLAW+小模型联合文档解析等典型工程场景。本文聚焦真实硬件约束下的性能边界测算与配置调优，覆盖RTX 4090显存博弈、MacBo 阅读详情

如何在本地 Windows 笔记本上使用 OpenClaw 客户端，通过 SSH 隧道调用云服务器上部署的 Qwen3-8B 大模型

前言

对于很多 AI 爱好者来说，想在本地拥有一个强大的 AI 助手，但受限于本地硬件配置，无法运行大模型，怎么办？本文将介绍一种本地客户端 + 云端算力的解决方案：使用 OpenClaw 作为本地界面，通过 SSH 隧道连接云服务器上运行的 vLLM + Qwen3-8B 模型，实现本地流畅使用大模型的目的。

背景介绍

为什么选择这个方案？

成本可控：只需一台云服务器，按需付费，无需购买昂贵显卡
隐私安全：数据不经过第三方 API 服务，本地处理
体验一致：本地拥有类似 OpenAI API 的使用体验
灵活部署：模型在云端运行，客户端轻量级

技术栈

客户端：OpenClaw（开源 AI 助手客户端）
服务端：vLLM（高性能 LLM 推理服务）
模型：Qwen3-8B（阿里千问系列）
连接方式：SSH 隧道（安全内网穿透）

一、云服务器部署 Qwen3 模型

1.1 环境要求

Linux 服务器（Ubuntu 20.04+）
Python 3.10+
NVIDIA 显卡，显存 >= 16GB
CUDA 驱动已安装

1.2 启动 vLLM 服务

在云服务器上执行以下命令启动 Qwen3-8B 的 OpenAI 兼容 API：

# 进入模型目录（根据实际情况修改）
cd /你的模型路径/Qwen

# 启动 vLLM 服务
python -m vllm.entrypoints.openai.api_server \
  --model /你的模型路径/Qwen/Qwen3-8B \
  --served-model-name qwen3-8b \
  --max-model-len 16000 \
  --host 0.0.0.0 \
  --port 6006 \
  --dtype bfloat16 \
  --gpu-memory-utilization 0.9 \
  --enable-auto-tool-choice \
  --tool-call-parser hermes

关键参数说明：

参数	说明
`--served-model-name`	模型服务名称，后续客户端配置需要用到
`--max-model-len`	最大上下文长度，建议 16K，需根据显存调整
`--gpu-memory-utilization`	GPU 显存使用比例，建议 0.9
`--port`	服务端口，本例使用 6006

1.3 验证服务

在服务器本地测试：

curl http://127.0.0.1:6006/v1/models

如果返回包含 qwen3-8b 的 JSON，说明服务启动成功。

二、本地 Windows 安装 OpenClaw

2.1 安装 Node.js

确保本地已安装 Node.js 18+，如未安装请到 Node.js 官网下载安装。

2.2 安装 OpenClaw

以管理员身份打开 PowerShell，执行：

npm install -g openclaw@latest

验证安装：

openclaw --version

2.3 初始化配置

openclaw onboard

按照向导提示完成基本设置，当询问模型时选择 Skip（稍后手动配置）。

三、配置 SSH 隧道

为了安全起见，我们不开放云服务器的 vLLM 端口，而是通过 SSH 隧道将远程服务映射到本地。

3.1 建立隧道

windows打开一个新的终端窗口，执行：

ssh -L 6006:localhost:6006 root@你的服务器IP -N

注意：保持此终端窗口运行，不要关闭。

3.2 验证隧道

在另一个终端测试隧道是否通畅：

curl http://127.0.0.1:6006/v1/models

如果返回与服务器相同的结果，说明隧道建立成功。

四、配置 OpenClaw 连接云端模型

4.1 修改配置文件

OpenClaw 的主配置文件位于 C:\Users\你的用户名\.openclaw\openclaw.json。

在 models.providers 中添加 local-qwen 配置节点：

"local-qwen": {
  "baseUrl": "http://127.0.0.1:6006/v1",
  "apiKey": "sk-no-key",
  "api": "openai-completions",
  "models": [
    {
      "id": "qwen3-8b",
      "name": "Qwen3-8B (local-qwen)",  # 不要有中文
      "reasoning": true,
      "input": ["text"],
      "cost": {
        "input": 0,
        "output": 0,
        "cacheRead": 0,
        "cacheWrite": 0
      },
      "contextWindow": 16000,
      "maxTokens": 16000
    }
  ]
}

同时，在 agents.defaults.models 中添加模型引用：

"local-qwen/qwen3-8b": {}

4.2 配置认证信息

创建或编辑认证文件：C:\Users\你的用户名\.openclaw\agents\main\agent\auth-profiles.json

{
  "version": 1,
  "profiles": {
    "local-qwen:default": {
      "type": "api_key",
      "provider": "local-qwen",
      "key": "sk-no-key"
    }
  }
}

关键点：即使你的 vLLM 服务没有设置 API 密钥，这里也必须填一个非空占位符（如 sk-no-key），否则会报错。

4.3 设置默认模型（可选）

在 openclaw.json 的 agents.defaults.model.primary 中设置：

"primary": "local-qwen/qwen3-8b"

4.4 重启网关

openclaw gateway restart

五、启动与验证

打开浏览器访问 http://localhost:18789
输入网关令牌（可在 openclaw.json 的 gateway.auth.token 中找到，或运行 openclaw token generate 重新生成）
在模型下拉菜单中选择 Qwen3-8B (云端)
发送一条测试消息，如「你好」，观察是否正常回复