[特殊字符] 用 Docker 和 Kubernetes 部署大模型（LLM）服务：从零到一全攻略【踩坑必读】

关注

原创最新推荐文章于 2026-05-21 16:16:36 发布 1.7w 阅读 AI 写同款· GEO 优化 ›

一文讲清楚如何正确提交Pull Request，附真实案例刚参加了一次开源项目，不知道如何正确提交pull request，在此记录一下。阅读详情

📋 摘要

大家好，我是默语博主🙋‍♂️！
在AI浪潮🌊汹涌的今天，越来越多小伙伴想自己部署大语言模型（LLM），比如 HuggingFace 的 transformers、LLaMA、Mistral 系列。但是，如何用 Docker、Kubernetes 快速稳定地部署，同时避免踩坑⚠️，成为很多技术人的痛点。
本篇文章聚焦Docker部署大模型服务与Kubernetes集群实战，包含详细教程、常见错误分析、轻量镜像优化🎯、并发请求处理方法等，当然也有Java代码演示！
【关键词】：Docker部署LLM、Kubernetes部署大模型、LLM API服务、Docker轻量化、Java访问大模型API

博主默语带您 Go to New World.
✍ 个人主页—— 默语的博客👦🏻 优秀内容
 《java 面试题大全》
《java 专栏》
《idea技术专区》
《spring boot 技术专区》
《MyBatis从入门到精通》
《23种设计模式》
《经典算法学习》
《spring 学习》
《MYSQL从入门到精通》数据库是开发者必会基础之一~
🍩惟余辈才疏学浅，临摹之作或有不妥之处，还请读者海涵指正。☕🍭
🪁 吾期望此文有资助于尔，即使粗浅难及深广，亦备添少许微薄之助。苟未尽善尽美，敬请批评指正，以资改进。！💻⌨

默语是谁？

大家好，我是默语，别名默语博主，擅长的技术领域包括Java、运维和人工智能。我的技术背景扎实，涵盖了从后端开发到前端框架的各个方面，特别是在Java 性能优化、多线程编程、算法优化等领域有深厚造诣。

目前，我活跃在CSDN、掘金、阿里云和 51CTO等平台，全网拥有超过15万的粉丝，总阅读量超过1400 万。统一 IP 名称为默语或者默语博主。我是 CSDN 博客专家、阿里云专家博主和掘金博客专家，曾获博客专家、优秀社区主理人等多项荣誉，并在 2023 年度博客之星评选中名列前 50。我还是 Java 高级工程师、自媒体博主，北京城市开发者社区的主理人，拥有丰富的项目开发经验和产品设计能力。希望通过我的分享，帮助大家更好地了解和使用各类技术产品，在不断的学习过程中，可以帮助到更多的人，结交更多的朋友.

我的博客内容涵盖广泛，主要分享技术教程、Bug解决方案、开发工具使用、前沿科技资讯、产品评测与使用体验。我特别关注云服务产品评测、AI 产品对比、开发板性能测试以及技术报告，同时也会提供产品优缺点分析、横向对比，并分享技术沙龙与行业大会的参会体验。我的目标是为读者提供有深度、有实用价值的技术洞察与分析。

默语：您的前沿技术领航员

👋 大家好，我是默语！
📱 全网搜索“默语”，即可纵览我在各大平台的知识足迹。

📣 公众号“默语摸鱼”，每周定时推送干货满满的技术长文，从新兴框架的剖析到运维实战的复盘，助您技术进阶之路畅通无阻。

💬 微信端添加好友“Solitudemind”，与我直接交流，不管是项目瓶颈的求助，还是行业趋势的探讨，随时畅所欲言。

📅 最新动态：2025 年 4月 22 日

快来加入技术社区，一起挖掘技术的无限潜能，携手迈向数字化新征程！

文章目录

📋 摘要

默语：您的前沿技术领航员
@[TOC]

📢 用 Docker 和 Kubernetes 部署大模型（LLM）服务：从零到一全攻略【踩坑必读】
✨ 引言

📦 1. 环境准备
1.1 基础环境要求

🛠️ 2. 使用 Docker 部署 LLM API 服务
2.1 选择模型框架
2.2 Dockerfile 编写

⚡ 3. 常见部署问题与解决办法
☸️ 4. 使用 Kubernetes 部署 LLM 服务
4.1 基础架构设计
4.2 K8s Deployment 示例

☕ 5. Java代码示例：如何访问 LLM API
🧠 6. 如何构建轻量化的 LLM 镜像
🏁 总结
🔖 参考资料

📢 用 Docker 和 Kubernetes 部署大模型（LLM）服务：从零到一全攻略【踩坑必读】

在这里插入图片描述

✨ 引言

随着 LLM 的广泛应用，企业内部部署模型成为刚需，但部署过程中常遇到资源不足、镜像太大、依赖冲突等问题💥。
为了让大家少踩坑、少掉头发🧠，这篇文章带你从本地Docker搭建到生产级K8s部署，手把手演示，包括 Java 调用接口小案例。
准备好了吗？🎯 Let’s go！

📦 1. 环境准备

1.1 基础环境要求

为了顺利部署，需要准备如下环境🛠️：

工具	版本要求	说明
Docker	≥ 24.0	推荐使用最新版，兼容性更好
Kubernetes	≥ 1.28	支持GPU调度更完善
Helm	≥ 3.12	Kubernetes包管理工具
Java SDK	≥ 17	用来开发调用API的小程序
Python	≥ 3.10	训练/微调模型

小提示⚡：如果需要GPU支持，记得安装 NVIDIA Docker Toolkit 哦！

🛠️ 2. 使用 Docker 部署 LLM API 服务

2.1 选择模型框架

目前主流的开源模型库有：

🤗 HuggingFace Transformers
🦙 LLaMA系列
🐍 OpenAI-compatible接口（如vLLM）

👉 本文以 HuggingFace 的 transformers 为例。

2.2 Dockerfile 编写

为了减小镜像体积🚀，可以这样写一个基于 python:3.10-slim 的 Dockerfile：

FROM python:3.10-slim

# 安装基础依赖
RUN apt-get update && apt-get install -y gcc

# 安装模型推理所需库
RUN pip install torch==2.1.2 transformers==4.38.1 fastapi uvicorn

# 复制API服务代码
COPY ./app /app

# 设置工作目录
WORKDIR /app

# 运行API服务
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]

✅ 小心！ 大模型如 xformers 会导致 Docker build 失败（需要 CUDA 环境，注意兼容性）。

⚡ 3. 常见部署问题与解决办法

问题	错误信息	解决方案
镜像太大	“no space left on device”	使用 `multi-stage build`，或者迁移到大磁盘
Docker build失败	“xformers incompatible”	确认 CUDA 版本匹配；或者关闭 xformers
容器启动超慢	加载模型太慢	在镜像构建时预加载模型，或者 volume 挂载
内存爆炸	OOMKilled	限制 batch size，分配更大内存

小建议🌟：可以用docker system prune清理无用缓存，释放空间。

☸️ 4. 使用 Kubernetes 部署 LLM 服务

4.1 基础架构设计

建议部署结构：

[Ingress] -> [Service] -> [Pod (LLM API Server + GPU)]

Ingress 负责外部访问
Service 做负载均衡
Pod 跑模型服务，可以绑定 GPU

4.2 K8s Deployment 示例

用下面的 Deployment YAML 文件，可以快速部署一个 LLM API服务：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llm-server
spec:
  replicas: 2
  selector:
    matchLabels:
      app: llm
  template:
    metadata:
      labels:
        app: llm
    spec:
      containers:
      - name: llm-api
        image: your-dockerhub/llm-api:latest
        ports:
        - containerPort: 8000
        resources:
          limits:
            nvidia.com/gpu: 1

注意小心💥：GPU资源需要你的K8s节点配置好NVIDIA device plugin！

☕ 5. Java代码示例：如何访问 LLM API

假设你的 LLM 服务已经部署在 http://localhost:8000/generate，下面用 Java 调用接口：

import java.io.OutputStream;
import java.net.HttpURLConnection;
import java.net.URL;
import java.nio.charset.StandardCharsets;

public class LLMClient {
    public static void main(String[] args) {
        try {
            URL url = new URL("http://localhost:8000/generate");
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setRequestMethod("POST");
            conn.setDoOutput(true);
            conn.setRequestProperty("Content-Type", "application/json");

            String inputJson = "{\"prompt\": \"Hello, world!\"}";
            try (OutputStream os = conn.getOutputStream()) {
                os.write(inputJson.getBytes(StandardCharsets.UTF_8));
            }

            int responseCode = conn.getResponseCode();
            System.out.println("Response Code : " + responseCode);

            conn.disconnect();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

📌小注意：如果接口有认证Token，需要在Header里加上Authorization: Bearer xxx哦！

🧠 6. 如何构建轻量化的 LLM 镜像

大模型镜像动不动就 10GB+，影响部署效率🚀，所以要尽量优化：

使用 python:slim 或 debian:bullseye-slim 基础镜像
减少不必要的 Python 库
采用 多阶段构建（multi-stage build）
模型文件（如 .bin）挂载外部 Volume，不内置镜像

举个例子📦：

dockerfile复制编辑FROM python:3.10-slim as builder
RUN pip install torch transformers

FROM python:3.10-slim
COPY --from=builder /usr/local/lib/python3.10/site-packages /usr/local/lib/python3.10/site-packages
COPY ./app /app

这样可以显著缩小镜像体积！（一般能减少30%~50%）

🏁 总结

部署大模型服务，看似简单，实际中会遇到各种资源限制、依赖问题、性能瓶颈⚙️。
本篇用实际操作🔨，从 Docker 到 Kubernetes、从环境搭建到 Java接入，帮助你完整掌握部署流程。
记得：资源监控🖥️、异常处理机制💣、并发优化🚀，这些都是上线后要长期关注的！

🔖 参考资料

Docker官方文档
Kubernetes官方文档
HuggingFace Transformers
NVIDIA Kubernetes GPU插件

如对本文内容有任何疑问、建议或意见，请联系作者，作者将尽力回复并改进📓；( 联系微信:Solitudemind )

点击下方名片，加入 IT 技术核心学习团队。一起探索科技的未来，共同成长。

为了让您拥有更好的交互体验，特将这行文字设置为可点击样式：点击下方名片，加入 IT
技术核心学习团队。一起探索科技的未来，共同成长。