1. Xinference 介绍
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用，简单的讲就是部署大模型的应用，至于场景嘛，就是当我们自己使用本地模型的时候，切换起来方便。
2. 环境说明
**系统：**Ubuntu 22.04.4 LTS
**python版本：**Python 3.10.14
本文使用conda虚拟python环境
# 创建一个环境
conda create -n Xinference python=3.10.14
# 激活环境
conda activate Xinference
3. 安装Xinference环境
1> 配置清华源
目的是为了快一点，如果你要是能直接练到魔法网络，那也可以不用配置！
ps:本文都加了-i https:xxx的参数，目的很明确，就是怕网络不通，配置好的请忽略。
# 配置
python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 单次使用清华源进行升级
python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip
2>
6833
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
