华为昇腾NPU监控实战：npu-smi info命令详解与性能调优指南

关注

VIP免费原创最新推荐文章于 2026-10-05 09:10:29 发布 591 阅读 AI 写同款· GEO 优化 ›

【环境部署系列 06】Ascend 310P3（推理）Ubuntu系统环境部署阅读详情

华为昇腾NPU监控实战：npu-smi info命令详解与性能调优指南

如果你正在管理一个部署了华为昇腾NPU的AI推理或训练集群，那么你大概率已经和 npu-smi 这个命令行工具打过交道了。它就像是昇腾硬件的“听诊器”，能让你快速了解每张卡的心跳、体温和负荷。但很多时候，我们只是简单地敲下 npu-smi info，扫一眼温度和内存，就以为完成了监控任务。实际上，那些看似简单的数字背后，隐藏着大量关于计算瓶颈、潜在风险和优化机会的信息。真正的高手，能从这些指标中读出模型运行的“故事”，并据此做出精准的调优决策。

这篇文章不是一份枯燥的命令手册，而是面向一线AI工程师和运维人员的实战指南。我们将深入挖掘 npu-smi info 及其相关命令的潜力，探讨如何将零散的性能指标关联起来，定位从内存带宽瓶颈到散热不均的各种问题。我会结合具体的场景和命令，分享如何从监控数据中发现问题，并给出切实可行的负载均衡与性能调优建议。无论你是负责维护一个大规模的推理服务，还是在调试复杂的训练任务，相信这些从实战中总结的经验都能为你提供新的思路。

1. 超越基础查询：深入解读 `npu-smi info` 的每一行数据

初次接触 npu-smi info，你看到的可能是一个信息密集的表格。让我们先别急着跳过，逐项拆解这些字段，理解它们在真实场景下的含义。

1.1 核心健康与状态指标：不只是“OK”

运行 npu-smi info，最上方会显示类似下面的摘要信息：

+------------------------------------------------------------------------------------------------+
| npu-smi 23.0.2.1                 Version: 24.1.RC3                                             |
+---------------------------+---------------+----------------------------------------------------+
| NPU   Name                | Health        | Power(W)    Temp(C)           Hugepages-Usage(page)|
| Chip                      | Bus-Id        | AICore(%)   Memory-Usage(MB)  HBM-Usage(MB)        |
+===========================+===============+====================================================+
| 0     910B2C              | OK            | 88.6        51                0    / 0             |
| 0                         | 0000:5A:00.0  | 0           0    / 0          20701/ 65536         |
+===========================+===============+====================================================+

Health：这个字段远不止一个简单的“OK”。它反映了芯片的综合健康度。除了“OK”，你可能会遇到：
- Warning：一般告警。可能意味着温度或功耗接近阈值，或者ECC错误计数在增加。这时需要关注，但通常不会立即影响运行。
- Alarm 或 Critical：重要或紧急告警。可能由持续高温、电源异常或严重的硬件错误触发。遇到这两种状态，必须立即介入检查，很可能需要停止当前任务，以防硬件损坏。
- UNKNOWN：设备不存在或未启动。检查驱动是否正常加载，或物理连接是否牢固。

注意：不要只满足于看到“OK”。定期使用 npu-smi info -t health -i <card_id> 可以获取更详细的健康状态报告，有时能提前发现潜在问题。

Power(W) 与 Temp(C)：功耗和温度是孪生兄弟，需要放在一起看。
- 低利用率下的高功耗/高温：如果 AICore(%) 很低（例如<10%），但功耗和温度却居高不下，这可能意味着：
  1. 存在内存带宽瓶颈。模型频繁地在DDR/HBM和芯片内部搬运数据，AICore在“空转”等待，但内存控制器和PHY（物理接口）仍在满负荷工作，产生热量。
  2. 散热系统效率低下。检查服务器风扇转速、风道是否有遮挡，或者散热片与芯片接触是否良好。