一、TensorRT-LLM有三种安装方式，从简单到难
1.NGC上的预构建发布容器进行部署,见《tensorrt-llm0.20.0离线部署DeepSeek-R1-Distill-Qwen-32B》。
2.通过pip进行部署。
3.从源头构建再部署。
在实际开发中，我们常常面临这样的场景：本地笔记本为 Windows 系统，虽然可以访问 GitHub，但受限于硬件性能，编译大型项目（如 TensorRT-LLM）耗时过长；而公司或实验室提供的 Linux 服务器性能强劲，适合编译任务，但却因网络策略限制无法连接外网，尤其是无法访问 GitHub。
为了充分利用服务器的高性能并绕过网络限制，本文将分享一种高效、可行的编译方案：在本地准备依赖资源，通过中转方式将代码和依赖上传至服务器，完成编译构建。
二、在能连接github的服务器中，下载源代码
2.1下载源代码
#git clone https://github.com/NVIDIA/TensorRT-LLM.git
上传到服务器/home/TensorRT-LLM
2.2下载cmake和mpi4py
https://github.com/Kitware/CMake/releases/download/v3.30.2/cmake-3.30.2-linux-x86_64.tar.gz
980
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
