使用conda环境python3.13和python3.12下安装vllm过程记录

本地部署 vllm

本地部署 vllm

安装vllm的艰苦过程

介绍了Python3关于vllm库的安装方法

Ubuntu+Conda部署vLLM：从环境配置到生产实践

大模型推理部署已成为AI工程化落地的核心环节，而环境配置往往是阻碍开发者的第一道门槛。vLLM作为高性能推理引擎，通过PagedAttention显存管理和连续批处理大幅提升吞吐，其部署过程却对操作系统、CUDA版本和Python环境有严格约束。Conda作为灵活的Python环境管理工具，能够有效隔离依赖、精准控制版本，为vLLM提供稳定的运行基础。在Ubuntu这类Linux系统下，结合NVIDIA驱动与CUDA生态，合理配置Conda环境可以显著降低部署复杂度。本文从实际工程出发，系统讲解在Ubunt

vLLM部署排坑指南：CUDA显存报错与环境兼容性实战

vLLM作为高性能大模型推理引擎，其核心能力依赖于PagedAttention、Continuous Batching等底层机制，而这些机制的稳定运行高度依赖CUDA驱动、cuBLAS、NCCL与Python运行时的精准匹配。理解GPU显存分配原理（如`--gpu-memory-utilization`实际控制KV Cache内存池）、掌握CUDA版本兼容性规则（如驱动525.60.13+对应CUDA 12.1），是解决`CUDA out of memory`和`no GPU found`等高频故障的前提。

Windows WSL搭建Ubuntu与vLLM环境全指南

Windows Subsystem for Linux (WSL) 是微软推出的Linux兼容层技术，通过在Windows内核实现系统调用转换，使原生Linux二进制文件能在Windows运行。其核心价值在于为开发者提供无缝的跨平台开发体验，特别适合机器学习、云计算等需要Linux环境的场景。本文以Ubuntu WSL2环境为例，结合CUDA加速和vLLM推理框架，详细演示如何配置高性能的AI开发环境。针对vLLM这一新兴的大模型推理引擎，重点介绍其在WSL环境下的部署技巧、性能优化方法以及常见问题解决方案

vLLM部署中的CUDA版本兼容性问题与解决方案

CUDA作为NVIDIA推出的并行计算平台，其版本兼容性直接影响深度学习框架的运行效率。在大型语言模型推理场景中，vLLM等高性能推理引擎需要精确匹配CUDA Toolkit、PyTorch和NVIDIA驱动版本才能发挥最佳性能。通过环境隔离工具如conda或Docker，可以灵活管理多版本CUDA环境，避免常见的版本冲突问题。本文针对vLLM部署中的典型CUDA错误，如版本不匹配和符号未定义等问题，提供了详细的排查方法和解决方案，帮助开发者快速搭建稳定的推理环境。

vLLM vs TGI vs Ollama：3款推理框架部署 Llama3-8B 实测对比

本文对比了vLLM、TGI和Ollama三大推理框架在部署Llama3-8B大模型时的性能表现，提供了详细的实测数据和配置建议。测试结果显示，vLLM在高并发场景下吞吐量优势明显，TGI在显存优化方面表现最佳，而Ollama则适合快速本地开发。文章还包含部署流程、性能调优和生产环境建议，帮助开发者选择最适合的推理框架。

vLLM部署Qwen3.6-35B-GPTQ量化模型实战指南

大语言模型推理引擎vLLM通过PagedAttention内存管理与连续批处理技术，显著提升高参数量模型的显存利用率和吞吐性能；GPTQ量化作为当前主流INT4压缩方案，兼顾精度与硬件兼容性，尤其适配vLLM原生加载机制。其技术价值在于突破单卡显存瓶颈，支撑128K长上下文稳定推理，在A100等消费级AI加速卡上实现35B级模型的低延迟、高并发服务落地。本文聚焦Qwen3.6-35B-GPTQ量化版本在vLLM中的端到端部署、关键配置调优与典型故障排查，覆盖环境匹配、权重结构校验、启动参数陷阱及真实压测验证

解决vLLM部署中的CUDA版本兼容性问题

CUDA作为NVIDIA推出的并行计算平台和编程模型，是深度学习框架如PyTorch和TensorFlow的核心依赖。其版本兼容性直接影响模型训练和推理的稳定性。在部署高性能大语言模型推理库vLLM时，CUDA工具包、PyTorch框架和GPU驱动之间的版本匹配尤为关键。通过系统环境检查、预编译包选择、源码编译或Docker容器化等方法，可以有效解决常见的CUDA版本冲突问题。本文以vLLM部署为例，详细介绍了如何诊断和解决CUDA兼容性问题，为深度学习工程实践提供可靠参考。

【技术解析】LUT-Fuse：如何通过可学习查找表与蒸馏技术，为边缘设备解锁实时图像融合

本文解析了ICCV 2025提出的LUT-Fuse技术，它通过可学习查找表与知识蒸馏，解决了边缘设备上图像融合的质量、速度与功耗“不可能三角”。该方法将复杂计算预编译为高速查找表，在Jetson等设备上实现100+ FPS的实时红外-可见光图像融合，为无人机、安防等应用提供了高效解决方案。

从理论到实践：TRL去嵌入校准在国产矢量网络分析仪上的应用全解析

本文全面解析了TRL去嵌入校准技术在国产矢量网络分析仪上的应用实践，从核心算法到工程实现。详细介绍了TRL校准的数学原理、国产VNA的程控接口开发、校准件质量评估及测量不确定度控制策略，帮助工程师掌握高频器件测量的关键技术。

GT-suite v2016的下载和安装

1 写在前面 GT-suite 是一款用来做内燃机仿真的软件。在安装过程中遇到很多问题，网上的安装教程也大都抄来抄去，试着安装了几遍都没有成功。最终在贴吧一个老哥的帖子里找到了解决办法，但是老哥的帖子也不是很详细，所以做了这个详细版本的教程。 GT-suite v2016安装包： 链接：https://pan.baidu.com/s/1JZPgJ8_-J-L8rV84-eHedQ 提取码：uj...

CSS字体样式全攻略

🧱 让文字有空间感，适合标题或LOGO。🖋️适合插画、创意工作者的个人页面。🔥 适合标题、品牌名，视觉冲击力强。🧘‍♀️适合极简设计、文化类网站。✨适合科技类网站、博客、作品集。🚀适合游戏、AI、科技类项目。🐰 适合儿童类网站或节日氛围。📖适合时尚、生活方式类内容。🌫️ 适合神秘、梦幻主题。🌃 夜店风、科技感十足。具体效果是文字会上下跳动。

《基于FPGA的数字信号处理》专栏的导航与说明

《基于FPGA的数字信号处理》专栏的导航与说明

AI Agent在核电站安全监控中的应用

核电站作为一种高效的能源生产设施，其安全问题一直是全球关注的焦点。任何安全事故都可能导致严重的人员伤亡、环境污染和经济损失。传统的核电站安全监控系统主要依赖于人工操作和固定规则的监控算法，存在监控效率低、无法实时应对复杂情况等问题。本文章的目的在于探讨如何利用AI Agent技术提升核电站安全监控的智能化水平，实现实时、准确的监测和智能决策。范围涵盖了AI Agent的基本原理、在核电站安全监控中的应用场景、相关算法和数学模型，以及实际项目的开发和应用。

MDIO接口协议与其详解——单片机

在单片机领域，通过MDIO接口可以与外部设备进行通信，实现对设备的控制和数据的读写。通过本文的介绍，你可以了解到MDIO接口协议的原理和使用方法，并参考源代码示例进行实际的开发和应用。具体的初始化方法与单片机的型号和开发环境有关，可以参考相应的单片机手册和开发工具的文档。（1）发送读取命令：向MDIO线发送读取命令，通常是发送一个特定的控制字节，用于指示要读取的寄存器地址。（1）发送写入命令：向MDIO线发送写入命令，通常是发送一个特定的控制字节，用于指示要写入的寄存器地址。二、MDIO接口协议使用方法。

博途PLC PID仿真LSim_PT1库算法(一阶系统差分方程推导全过程)

博途PLC的PID仿真可以参看下面这篇博客，这篇文章我们主要论坛仿真库LSim的算法由来。如何利用博途PLC PID_Compact 进行PID仿真（一阶系统）_RXXW_Dor的博客-CSDN博客博途PLC PID控制器 PID_Compact FB如何使用可以参看下面这篇文章，这里不再赘述。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

VC中sqlite的使用

在VC中对sqlite的使用，实现数据库大批数据的快速插入，读取数据库中的数据在ListCtrl中显示

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。