LLM Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署）

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.2k累计阅读 1.2k平均单平台已同步平台 CSDN 微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄4年

关注

VIP免费原创最新推荐文章于 2026-05-17 12:30:45 发布 1.2k 阅读 AI 写同款· GEO 优化 ›

LLM | Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署）也支持多卡模型并行推理阅读详情

1. 详细步骤

1.1 安装

# CUDA/CPU
pip install "xinference[transformers]"
pip install "xinference[vllm]"
pip install "xinference[sglang]"

# Metal(MPS)
pip install "xinference[mlx]"
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python

注：可能是 nvcc 版本等个人环境配置原因，llama-cpp-python 在 CUDA 上无法使用（C/C++ 环境上是正常的），Metal 的 llama-cpp-python 正常。如需安装 flashinfer 等依赖见官方安装文档：https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html

1.2 启动

1.2.1 直接启动

简洁命令

xinference-local --host 0.0.0.0 --port 9997

多参数命令

设置模型缓存路径和模型来源（Hugging Face/Modelscope）

# CUDA/CPU
XINFERENCE_HOME=/path/.xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997

# Metal(MPS)
XINFERENCE_HOME=/path/.xinference XINFERENCE_MODEL_SRC

最低0.47元/天解锁文章

收录于

当前文章被以下社区和专栏收录：

标签

#分布式

Xinference安装及部署大模型 Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用，简单的讲就是部署大模型的应用，至于场景嘛，就是当我们自己使用本地模型的时候，切换起来方便。阅读详情

相关推荐

Xinference安装、使用详细笔记

guoqingru0311的博客 4385

Synopsys工具filter命令：从数据筛选到高效IC设计的实战指南

在数字集成电路设计流程中，数据筛选与查询是工程师处理海量网表、时序报告和设计约束的核心需求。其原理在于通过声明式查询语言，直接对设计对象（如单元、网络、路径）的属性进行逻辑判断与模式匹配，从而精准定位目标。这种技术价值在于将工程师从繁琐的过程式脚本循环中解放出来，大幅提升代码可读性与运行效率，直接调用工具内置的高性能查询引擎。在实际应用场景中，它广泛用于物理与时序联合分析、层次化模块操作、动态约束生成以及自动化报告生成。本文聚焦于Synopsys工具链中filter命令的高阶用法，深入解析其表达式语法、正则

weixin_28007513的博客 571

专项1.CCS代码补全与快捷键优化全攻略

本文全面解析CCS开发环境的代码补全功能与快捷键优化技巧，包括内容辅助触发机制、快捷键自定义配置、编码效率提升方法等实用内容。通过详细步骤指导开发者优化CCS配置，实现高效的代码自动补全和个性化快捷键设置，显著提升嵌入式开发效率。

kotlin6android的博客 214

基于 Python 的 LIF 模型：探索神经元同步与小世界网络

首先，我们定义了一个LIFNeuronself.soma.L = self.soma.diam = 12.6157 # 固定神经元形状self.cm = cm # 电容self.V_rest = V_rest # 静息电位self.V = V_rest # 初始化膜电位在初始化过程中，每个神经元被赋予初始的静息电位，并且其膜电位会在后续的模拟过程中动态变化。

qq_36224726的博客 1420

OpenClaw 技能编排实战｜如何组合多个技能完成复杂任务链

多技能协作的设计思路；技能链的执行顺序控制；案例：自动监控新闻 → 摘要生成 → 发送到飞书的一站式自动化流程。

我是一个扣子，CSDN博客专家，阿里云专家。专注AI（代码智能体、OpenClaw、AI视频制作）与Java全栈（Java、MySQL、Redis）实战。坚持AI赋能开发，输出有深度的技术内容。 533

ArcGIS中利用DEM数据生成地形图既视感的等高线；利用掩膜进行等高线注记；DEM的可视化表达总结

文章目录前言一、效果图展示二、地形（DEM）可视化表达1.一维可视化2.二维可视化2.三维可视化二、ArcGIS中利用DEM数据制作等高线2.三维可视化2.三维可视化2.三维可视化2.三维可视化二、ArcGIS中利用DEM数据制作等高线2.三维可视化2.三维可视化2.三维可视化总结前言最近老师布置作业：DEM的可视化表达。想做一个等高线地形图那样、看起来高级一点的等高线，可是我看网上大多数教程都只展示了【等值线】工具，做出来效果都一般。我自认为自己做出来的效果还可以，把步骤分享给大家。一、

pink_pig__的博客 5万+

学Simulink--基于多能源系统协同与能源互联网的电网系统场景实例：风光氢储一体化系统的能量管理与调度仿真

在全球“双碳”目标驱动下，高比例可再生能源并网成为电网发展的核心方向。然而，风电与光伏具有强随机性与间歇性，给电网稳定运行带来巨大挑战。风光氢储一体化系统（Wind-Solar-Hydrogen-Storage Integrated System）通过将可再生能源发电电解水制氢氢气储存与燃料电池发电有机结合，构建了一个长时储能与能量形态转换的闭环系统，是实现能源互联网与零碳电力系统的关键路径。✅平抑波动：氢储能可实现跨天、跨周储能✅能量转化：电→氢→电/热/交通燃料，实现多能互补✅长时储能。

amy_mhd的博客 1062

新手秒变高手：使用一键脚本快速安装OpenClaw并完成初始化配置

一键脚本是一种自动化工具，可以帮助用户快速完成软件的安装和配置过程，无需手动执行繁琐的命令。OpenClaw提供了官方的一键安装脚本，让新手用户也能轻松部署OpenClaw。

一键难忘的博客 348

【教程4＞第5章＞第19节】基于Gardner环的位同步系统MATLAB仿真与带时偏基带数据导出

由于在FPGA中，时偏的影响主要是由系统收发两端晶振的不同步带来的，所以在仿真测试阶段，很难直接通过FPGA来模拟这个因素，所以我们采用MATLAB模拟带时偏的基带输入信号，并将其导出，由FPGA调用作为测试信号源。可以看到，同步之后(图3)相对于带时偏的基带信号(图2)，其更接近标准的数据(图1)，且抖动较小。订阅过的朋友可以复习下这个课程，没有订阅的朋友，也可以直接复制如下的程序进行仿真测试。上述程序中，加入时偏的基带信号，通过子函数。同步之后，可以恢复出标准的QPSK星座图。

FPGA/MATLAB学习教程/源码/项目合作开发 520

汉书HE8，好用的汇编代码编写工具

汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

温度PID控制PLC程序

温度PID稳定控制程序，适用于欧姆龙PLC，对其他PLC也具有很大参考价值

上一篇： Java进阶笔记（中级）

下一篇： java笔记（b站翁恺） (进阶1 P9-P13）

Xinference安装、使用详细笔记

guoqingru0311的博客

03-24

4385