LLM | llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）

16G显存跑200+tok/s：Qwen3.6-35B-A3B+llama.cpp+GGUF实战指南

大语言模型本地推理的核心在于‘可部署性’——它不仅是参数量与算力的匹配，更是模型格式、运行时框架与硬件调度的系统级协同。GGUF作为专为llama.cpp设计的硬件感知模型容器，通过元数据驱动的张量布局与量化策略，显著降低推理延迟；llama.cpp则以零Python依赖、原生CUDA支持和精细GPU层卸载（-ngl）能力，成为Windows与消费级显卡场景下的事实标准。结合Qwen3.6-35B-A3B这类结构精简、RoPE优化、量化友好的中文大模型，可在RTX 4090（16G显存）上稳定实现200+

Llama本地部署实战：量化推理与CPU运行原理

大语言模型（LLM）的本地化运行是AI民主化的核心路径，其技术基础在于模型量化、轻量推理引擎与精简架构设计。量化通过分组压缩与异常值保留（如Q4_K_M）在精度与速度间取得平衡；llama.cpp等C++原生推理引擎绕过Python开销与GPU内存搬运，实现CPU/GPU协同加速；而Llama系列采用RMSNorm、RoPE、SwiGLU等可解释性强的设计，显著降低学习与调试门槛。这些技术共同支撑起从笔记本到树莓派的全场景部署能力，使7B级模型真正具备工程可用性。本文聚焦Llama-2-7B在真实硬件上的量

Booster LLM推理加速器：Golang+C++架构，跨硬件部署与性能调优实战

在大型语言模型（LLM）的工程化部署中，推理性能与资源效率是关键挑战。其核心原理在于通过优化计算图执行、内存管理和硬件指令集利用来提升吞吐量与降低延迟。这项技术的核心价值在于能够将前沿的AI能力以稳定、高效且成本可控的方式交付给生产环境，广泛应用于智能对话、代码生成与文本分析等场景。本文聚焦的Booster项目，正是这一领域的实践典范，它创新性地采用Golang处理高并发服务层、C++/CUDA编写极致性能计算核心的混合架构，并支持包括**模型量化**与**多GPU模型分割**在内的关键技术，实现了从NVI

Llama.cpp vs vLLM：本地大模型引擎的可扩展性深度对比与选型指南

大语言模型（LLM）推理引擎是本地部署的核心组件，其设计原理直接影响服务性能与资源利用率。在技术层面，引擎通过内存管理、批处理机制和硬件适配等关键技术，实现从单次推理到高并发服务的扩展。其中，内存管理策略如动态分页与静态分配，是决定并发处理能力的基础；连续批处理（Continuous Batching）技术则能显著提升吞吐量，是高并发场景的价值所在。这些技术最终服务于不同的应用场景：轻量级单机部署、边缘计算或高并发API服务。本文聚焦于Llama.cpp和vLLM两大热门引擎，通过对比其内存管理、推理模式及

llama.cpp LLM模型 windows cpu安装部署；运行LLaMA2模型测试

参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/1301135991、下载： 2、编译 3、测试运行

PCB布局布线要求及多层电路板叠加原则

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考本文主要针对PCB布局布线中的要点进行了总结，并对多层电路板的叠加原则进行了解释。

ESP32-IDF开发之旅 基础篇⑨ ESP-IDF的FreeRTOS任务间通信和同步

本文介绍了FreeRTOS任务间通信中的队列机制，重点讲解了队列的创建、发送和接收数据的API使用方法。文章提供了详细的技术说明和示例代码，包括xQueueCreate、xQueueSend、xQueueReceive等核心函数的参数说明和返回值解释。通过一个2生产者+1消费者的实际案例，展示了如何在ESP-IDF环境下使用FreeRTOS队列实现任务间通信。示例中包含了数据发送失败处理和接收数据验证等实用技巧，为开发者提供了可参考的实现模式。

paddle 43 用onnxruntime实现ppyoloe模型的部署（含python和c++版本）

PP-YOLOE+是PP-YOLOE模型的升级版，PP-YOLOE+_l在COCO test-dev2017达到了53.3的mAP, 同时其速度在Tesla V100上达到了78.1 FPS。PP-YOLOE+_s/m/x同样具有卓越的精度速度性价比。paddle官方只给出了基于paddle框架的部署案例，为了更好的部署，为此实现将paddle模型转换为onnx模型，然后在python下实现onnxruntime部署。后续会补充c++ onnxruntime部署

Qt EGLFS 图形后端详解

EGLFS (EGL Full Screen) 是Qt框架在嵌入式Linux系统中的高性能图形显示后端，它提供了直接基于EGL和OpenGL ES的硬件加速渲染解决方案。

PCIE的MSI中断处理机制与优化策略

PCIe设备的。

go实现MQTT broker（附完整源码）

go实现MQTT broker（附完整源码）

＜PLC＞＜西门子＞＜工控＞西门子博图V18中使用SCL语言编写一个CRC16-modbus校验程序

西门子官方对于SCL语言的介绍如下：SCL 编程语言SCL 编程语言SCL（Structured Control Language，结构化控制语言）是一种基于 PASCAL 的高级编程语言。这种语言基于标准DIN EN 61131-3（国际标准为 IEC 1131-3）。根据该标准，可对用于可编程逻辑控制器的编程语言进行标准化。SCL 编程语言实现了该标准中定义的 ST 语言 (结构化文本) 的PLCopen 初级水平。语言元素。

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册，内含HL7和ASTM)

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的，已经排好版了，而且还是完整的，适合小白