LLM | ChatGLM.cpp 安装使用（支持CPU、Metal及CUDA推理）

GLM-4.7 Flash本地部署实战：消费级硬件跑通轻量大模型

大语言模型本地化运行是AI工程落地的关键环节，其核心在于平衡推理速度、内存占用与语义质量。GLM-4.7 Flash作为专为低资源场景优化的剪枝模型（约1.8B参数），通过Flash Attention加速、KV Cache精简及RoPE结构适配，在保持中文理解能力的同时显著降低计算开销。结合llama.cpp框架与GGUF量化（如Q4_K_M），可在RTX 4070或M1 Pro等消费级硬件上实现2–4秒首token延迟与稳定流式响应，真正支撑离线文档摘要、代码生成、会议纪要整理等高频生产力任务。本文聚焦

ChatGLM学习

在传统的自注意力机制中，输入序列中的每个位置都会计算一个注意力权重，用于对其他位置的信息进行加权聚合。而在双流自注意力机制中，会引入两个注意力流，分别用于处理不同类型的信息。它是基于自注意力机制（self-attention）的扩展，通过引入两个独立的注意力流来处理不同类型的信息。，从其中采样文本span{s1，· · ·，sm}，其中每个si表示连续令牌的跨度，并用单个掩码替换si，要求模型对它们进行自回归恢复。：条件独立性假设，预测每个mask的时候是并行的，没有考虑mask之间的关系。

ChatGLM直播笔记系统：轻量本地化实时语音转结构化笔记

直播笔记本质是语音识别（ASR）与大语言模型（LLM）协同完成的实时信息结构化任务。其技术核心在于低延迟上下文建模、端侧资源约束下的模型量化压缩，以及面向口语化表达的领域自适应微调。ChatGLM系列因其中文理解强、生态成熟，成为教育类直播轻量化部署的高性价比选择；而‘直播笔记’作为典型垂直场景，倒逼ASR-LLM流水线必须支持动态VAD、热词注入、Schema引导生成等工程能力。本文聚焦i5级设备可运行的全本地闭环方案，覆盖Whisper.cpp定制、ChatGLM-Live-3B微调、时间戳对齐与JSO

【chatglm2】使用Python在CPU环境中运行 chatglm.cpp 可以实现本地使用CPU运行chatglm2模型，速度也特别的快可以本地部署，把现有项目进行AI的改造。

也可以支持英文，但是最后几个字有点问题。最后有点乱码，不知道是不是因为模型裁剪的问题。同时也有可能是原始素材就有这个问题。可以使用docker 在 CPU上面运行 chatglm ，同时安装了 pytorch 的CPU 版本，镜像缩小到 1.5 G了。并且速度也是非常的快了。可以在非GPU的机器上面运行了。可以解决很多问题呢。

LocalAI本地部署指南：开源AI推理引擎实战与性能调优

大语言模型（LLM）作为当前人工智能领域的核心技术，通过在海量文本数据上进行预训练，掌握了强大的语言理解和生成能力。其工作原理基于Transformer架构，通过自注意力机制处理序列数据，实现上下文感知的预测。这项技术的核心价值在于能够将通用的语言能力赋能于各类应用，显著提升自动化水平和交互体验。在实际工程实践中，开发者常面临数据隐私、网络延迟和API调用成本等挑战，尤其是在处理敏感数据或构建高可用自动化流程时。LocalAI作为一个开源解决方案，通过提供与OpenAI API兼容的本地推理引擎，有效应对了

2023年LLM实战手记：模型选型、提示词协议与本地部署四大锚点

大语言模型（LLM）已从理论概念演进为可工程化落地的分层能力栈，涵盖基础模型、推理优化、编排框架与领域适配。其核心原理在于通过指令遵循鲁棒性、长文本稳定性与量化推理技术，在有限算力下实现高性价比业务交付。技术价值体现在降低TCO、提升上线确定性与满足合规审计要求。典型应用场景包括电商标题生成、客服意图识别、合同风险标注等需数据接入、规则校验与人机协同的生产环境任务。本文聚焦2023年真实踩坑经验，系统梳理模型选型四硬指标、结构化提示词协议、vLLM/TGI推理服务器选型及自动化黄金集评估体系。

大模型笔记之-低成本部署CharGLM3|chatglm.cpp基于ggml 的纯 C++ 实现

本文主要介绍基于chatglm.cpp项目仅使用cpu推理chatGLM3的教程。

Gemma 4B本地部署实战：普通人用RTX 3060跑通大模型的完整指南

大语言模型（LLM）本地部署正从技术极客专属走向大众实践，其核心在于平衡模型能力、硬件限制与使用体验。Gemma系列作为Google推出的轻量级开源模型，凭借分组查询注意力（GQA）和Flash Attention v2等优化设计，在消费级GPU上实现低延迟、低显存推理；而社区微调的Gemma 4B版本，以约41亿参数、Q4_K_M量化格式，成为兼顾4K上下文支持与RTX 3060/MBP M1等主流设备兼容性的‘黄金分割点’。它无需云端依赖，满足隐私敏感、离线可用、定制化强等真实需求，广泛应用于教育错题分

ChatGLM.cpp多平台部署指南：CPU、CUDA、Metal加速全攻略

ChatGLM.cpp是一个基于C++实现的高效LLM部署框架，支持ChatGLM-6B、ChatGLM2-6B、ChatGLM3等多种模型，能够在CPU、CUDA和Metal等不同硬件平台上实现高性能推理。本指南将带你快速掌握在各种环境下部署ChatGLM.cpp的完整流程，让AI模型在你的设备上高效运行。 ## 📋 准备工作：环境与依赖 在开始部署前，请确保你的系统满足以下基本要求：

本地大模型部署全攻略：从硬件选型到实战应用

大语言模型（LLM）作为人工智能领域的核心技术，其核心原理是基于海量数据训练的深度神经网络，通过自注意力机制等结构理解和生成人类语言。这项技术的价值在于能够执行复杂的语言理解和生成任务，为智能对话、内容创作和代码生成等场景提供强大支持。为了满足数据隐私、定制化需求和成本控制，本地化部署成为关键实践方向。本地部署涉及硬件选型（如GPU显存与算力平衡）、软件环境配置、模型量化（如GGUF、GPTQ格式）以及多种部署方案（如Ollama、text-generation-webui）的工程化实践。本文聚焦于**本地

LM Studio本地大语言模型部署指南：从零搭建私有AI助手

大语言模型（LLM）作为当前人工智能领域的核心技术，通过海量数据训练获得强大的语言理解和生成能力。其工作原理基于Transformer架构，通过自注意力机制处理序列数据，实现上下文感知的文本生成。这项技术的核心价值在于能够作为通用任务处理器，广泛应用于智能对话、代码生成、内容创作等场景。在实际工程实践中，如何在本地硬件上高效、私密地部署和运行这些模型成为开发者关注的重点。借助LM Studio等工具，用户可以绕过复杂的命令行配置，通过图形化界面轻松管理GGUF格式的模型文件，实现一键式本地部署。这为构建私有

vLLM、SGLang、TensorRT-LLM与llama.cpp：四大LLM推理引擎深度对比与选型指南

大语言模型（LLM）推理引擎是高效部署和运行模型的核心组件，其核心原理在于优化计算图执行、内存管理与请求调度，以提升吞吐量、降低延迟。这项技术的核心价值在于，它能将庞大的模型参数转化为稳定、高效的生产力服务，直接影响服务的响应速度、并发能力和硬件成本。在应用场景上，高并发的在线API服务、复杂的智能体工作流、对单次推理速度有极致要求的批量处理，以及在资源受限的边缘设备上运行，构成了当前最主要的几类需求。本文聚焦于当下最受关注的四个开源推理引擎：以高吞吐量和PagedAttention技术闻名的vLLM、擅长

手把手教你搭建自己本地的ChatGLM

如果能够本地自己搭建一个ChatGPT的话，训练一个属于自己知识库体系的人工智能AI对话系统，那么能够高效的处理应对所属领域的专业知识，甚至加入职业思维的意识，训练出能够结合行业领域知识高效产出的AI。这必定是十分高效的生产力工具，且本地部署能够保护个人数据隐私，能够内网搭建办公使用也十分的方便。而对于ChatGLM来说最大的优点就是本地能快速部署且需要资源较比与ChatGPT相当低，还要什么自行车，够用就好。甚至能够在一些性能较高的服务器单点部署，INT4 量化级别下最低只需 6GB 显存。

Mac本地AI大模型推理工具横评与优化指南

AI大模型推理是当前人工智能领域的重要技术，其核心在于高效利用计算资源进行模型推理。在Mac平台上，得益于苹果Silicon芯片的统一内存架构（UMA），本地运行大模型成为可能。UMA架构通过共享物理内存，显著提升了数据传输效率和内存带宽，使得中端Mac设备也能流畅运行70亿参数级别的模型。本文重点评测了LM Studio、Ollama、vLLM等六款主流推理工具，从安装部署、推理速度、内存管理到特色功能进行横向对比。这些工具在易用性、性能表现和功能侧重上各有优势，例如LM Studio适合快速原型开发，v

前沿数据解析 | 麻省理工-斯坦福-丰田研究中心电池数据集：AI驱动下的电池寿命早期预测

本文解析了麻省理工、斯坦福与丰田研究中心联合发布的电池数据集，展示了AI驱动下的电池寿命早期预测技术。通过分析124个商用锂离子电池的完整生命周期数据，研究团队仅用前100次循环数据即可准确预测电池报废时间，为电动汽车电池管理提供革命性解决方案。数据集包含LFP/石墨体系电池的详细测试记录，结合差分容量分析和梯度提升树模型，预测精度显著提升。

保姆级教程：在RK3588平台上为IMX415 Sensor配置HDR2曝光（附完整代码与避坑点）

本文提供RK3588平台上为IMX415 Sensor配置HDR2曝光的详细教程，涵盖基础概念、限制条件、实战配置步骤及常见问题解决方案。通过完整代码示例和关键参数解析，帮助开发者高效实现HDR2曝光模式，提升图像质量并避开常见陷阱。

纯CPU本地部署大模型实战指南：从量化到推理优化

模型量化是深度学习模型部署中的关键技术，它通过将模型参数从高精度浮点数转换为低精度整数，在保持模型性能的同时，大幅减少模型体积和计算复杂度。其核心原理在于利用神经网络对参数扰动的鲁棒性，通过量化感知训练或训练后量化，将FP32或FP16权重映射到INT8、INT4甚至更低的比特位。这项技术的工程价值在于打破了硬件限制，使得大模型能够在资源受限的设备上运行，极大地拓展了AI应用的边界。在边缘计算、移动端部署和隐私敏感场景中，量化技术结合CPU推理优化框架，为开发者提供了高性价比的本地AI解决方案。本文聚焦于C

探索niri：让你的Linux桌面布局无拘无束

niri是一款基于Wayland的滚动平铺合成器，采用创新的窗口管理方式。它将窗口排列为向右无限延伸的条目，支持独立显示器布局和动态垂直工作区，确保多任务操作流畅性。核心功能包括概要视图、截图界面、屏幕投射、手势操作、窗口分组等，并支持自定义布局和动画效果。niri具备良好的稳定性，兼容xwayland-satellite工具，灵感来自PaperWM但突破了GNOME限制。该项目为追求高效桌面管理的用户提供了全新解决方案，欢迎加入社区交流体验。

Windows平台AI大模型本地部署：轻量化桌面应用开发实战

大语言模型（LLM）本地部署推理技术，是指将训练好的模型文件部署在个人计算机上，利用本地计算资源进行文本生成与理解。其核心原理在于通过量化、硬件加速等技术，在消费级硬件上实现高效推理。这项技术的价值在于保障数据隐私、实现离线可用与成本可控，尤其适用于对数据安全敏感或网络环境受限的场景。在工程实践中，开发者常面临Python环境配置复杂、CUDA版本冲突等挑战。本文聚焦于**轻量化桌面应用**开发，通过集成**GGUF模型格式**与图形界面框架，提供了一套从环境搭建、核心模块实现到打包部署的完整解决方案，旨在

7.91版本unidbg调用方式

【代码】xhs最新7.91版本unidbg调用方式。

SDR 和 DDR 的区别

SDR 和 DDR 的差别，最明显提现在传输速率和频率上。DDR SDRAM与SDRAM的基本结构是相似的，最根本的区别在于DDR 支持在一个时钟周期内传输两次数据，，SDR 只能传输一次数据。

AI编程工具信创环境适配指南：从Codex到国产化部署的完整实践

信创环境下的AI编程工具适配实践 本文记录了金融科技公司在信创改造过程中，研发团队从x86架构迁移到国产化平台并适配AI编程工具的全流程。 核心挑战： 技术栈连锁替换：CPU架构变更引发操作系统、开发工具链的全面重构 国产CPU生态差异：四种主流架构（x86兼容/ARM64/自主指令集/RISC-V）各有适配难点 操作系统兼容性问题：统信UOS、麒麟、openEuler等国产系统的基础软件版本滞后 二进制包架构锁定：大量原生模块需重新编译 加速硬件碎片化：昇腾NPU、寒武纪MLU等不同硬件需单独适配 解决方

【PINN高级教程】 第1讲：函数空间与逼近理论

结论：在解决偏微分方程（PDE）时，解往往属于某个 Sobolev 空间 HsHs，其正则性受限于 PDE 的系数与边界条件；而 PINN 在训练过程中实际上是在逼近 Barron 空间中的函数。由于 Barron 空间允许高频信息的压缩，PINN 可以在参数规模较小的情况下捕捉到 PDE 解所需的细节，但其正则性保证仍然比 Sobolev 更弱。因此，在设计 PINN 时，需要通过正则化或网络结构（如残差连接、归一化层）来“逼近”Sobolev 正则性。

大语言模型本质解析：从行为表现到工程落地的三层穿透法

大语言模型（LLM）并非黑盒函数，而是一种以自回归建模为原点、以注意力机制为引擎、在海量文本上涌现出语言理解与生成能力的技术范式。其核心原理在于token级概率建模与长程依赖的可微分构建，技术价值体现在自然语言即接口、意图驱动即工作流、评估重心从准确率转向意图达成度。典型应用场景包括智能客服问答、会议纪要结构化提取、合规文案生成及设备日志分析等企业级任务。本文聚焦LLM真实落地中的关键认知断层——如token不是简单切词而是认知原子、attention不是‘关注重点’而是数学契约、temperature与t

在 SAP ECC 中定义 ledger 时遇到 “Define exactly one leading ledger“（消息号 FAGL_LEDGER_CUST012）的错误

摘要：SAP系统要求必须且只能定义一个主导分类账(Leading Ledger)。当出现错误消息FAGL_LEDGER_CUST012时，需通过事务码FINSC_LEDGER或SPRO路径检查分类账配置，确保仅有一个分类账被标记为"LeadingLedger"，其余设为"Non-leadingLedger"。主导分类账是SAP默认用于标准报表的核心分类账，修改配置需谨慎以免影响已有数据。若问题未解决，建议检查未完成配置或查阅SAP Notes获取解决方案。

2.STM32F407ZGT6 学习笔记-移植 FreeRTOS

1. 在工程下建议FreeRTOS文件夹 2. 在FreeRTOS文件夹下建立 src 和 port 文件夹 （src用于存放freertos源码，port文件夹存放内存和接口相关的文件） 3. 复制freertos/source文件夹下所有c文件复制到刚刚建立的freertos/src目录下 4. 复制FreeRTOSv9.0.0\FreeRTOS\Source\portablex下的MemMang和RVDS文件夹复制到刚刚建立的port问价夹下 5. 将FreeRTOSv9.0.0\FreeRTOS