架构分享｜三层存储架构加速云端大模型推理

作者简介

Nilesh Agarwal,Inferless 联合创始人&CTO

关于Inferless

Inferless ：无服务器 GPU 推理无需管理服务器即可扩展机器学习推理，轻松部署复杂的自定义模型。获得Sequoia、Antler 和 Blume Ventures 的支持。

大语言模型（LLM）推理任务需在分布式 GPU 实例之间频繁快速加载超大模型文件（通常GB级别）。传统单层存储方案（纯本地磁盘或纯远程云存储）已无法满足规模化服务的吞吐与延迟需求。举例来说，如果成千上万的推理节点各自从云对象存储拉取 20–100 GB 的模型，网络带宽与存储 I/O 很快就会成为瓶颈。

为解决这一难题，现代 AI 基础设施通常采用兼顾性能与成本的三层存储架构：

1. 热存储层（ Hot Tier）—— 支持POSIX接口的本地NVMe

   每个计算节点配备高速NVMe SSD（或基于NVMe的实例存储），挂载为POSIX文件系统。该层提供"热"数据访问能力，单节点吞吐可达2.5GB/s以上，延迟极低，可以确保模型文件能以近似内存速度读取。

2. 温存储层（Warm Tier）—— 集群内文件共享

   在集群层面，节点之间可以互相共享数据。每台机器暴露服务接口（或接入分布式文件系统），使其他节点可从已缓存模型的同伴节点以 2GB/s 的局域网（LAN）速度获取文件，避免所有节点重复访问云存储。

3. 冷存储层（Cold Tier ）—— 云对象存储

   持久化的对象存储（如 AWS S3、Azure Blob、Google Cloud Storage 等）充当“冷”存储，负责保存所有模型与数据资产。它的容量近乎无限、可靠性高，但单次访问延迟较高（数百毫秒），单连接吞吐量也较低。冷存储层是上层缓存未命中时的数据来源，并用于初次填充热/温存储层；利用多线程并行拉取，仍可达到约 1 GB/s 的聚合带宽。

这种分层设计通过三大优势显著加速模型加载，同时