Linux内核中的NUMA（非均匀内存访问）技术详解

原创于 2026-04-08 13:12:02 发布 · 3.5k 阅读

本内容遵循CC 4.0 BY-SA版权协议

Linux内核中的NUMA（非均匀内存访问）技术详解

引言

NUMA（Non-Uniform Memory Access，非均匀内存访问）是一种内存架构，它在多处理器系统中使用，其中每个处理器都有自己的本地内存，同时可以访问其他处理器的远程内存。NUMA架构的特点是本地内存访问速度快于远程内存访问速度，这导致了内存访问时间的不均匀性。Linux内核通过NUMA技术来优化内存访问，提高系统性能。本文将深入探讨Linux内核中的NUMA技术，包括其设计原理、实现机制、应用场景和性能优化。

NUMA的基本概念

1. 什么是NUMA

NUMA是一种内存架构，它将系统内存划分为多个内存节点，每个内存节点与一个或多个处理器相关联。处理器访问本地内存节点的速度比访问远程内存节点的速度快，这种内存访问时间的差异称为NUMA效应。

2. NUMA与UMA的对比

UMA（Uniform Memory Access）：所有处理器访问内存的速度相同，适用于小规模系统
NUMA（Non-Uniform Memory Access）：处理器访问本地内存的速度快于远程内存，适用于大规模系统

3. NUMA的优势

可扩展性：支持更多的处理器和内存
性能：本地内存访问速度快
带宽：总内存带宽更高
灵活性：可以根据应用程序的需求分配内存

NUMA的架构

1. NUMA的核心组件

内存节点：内存的基本单位，每个节点包含一定数量的内存
处理器：与内存节点相关联的CPU
NUMA拓扑：内存节点和处理器的连接关系
距离矩阵：表示不同节点之间的访问成本

2. NUMA的拓扑结构

NUMA系统的拓扑结构通常包括：

单级NUMA：处理器直接连接到内存节点
多级NUMA：处理器通过互连网络连接到内存节点
胖树NUMA：使用胖树网络连接处理器和内存节点

3. NUMA的距离

NUMA系统中，不同节点之间的访问成本用距离来表示：

本地距离：处理器访问本地内存节点的距离，通常为10
远程距离：处理器访问远程内存节点的距离，通常大于10
距离矩阵：记录所有节点对之间的距离

Linux内核中的NUMA实现

1. NUMA的核心数据结构

Linux内核中表示NUMA的核心数据结构包括：

// NUMA节点结构
struct pglist_data {
    struct zone node_zones[MAX_NR_ZONES];
    struct zonelist node_zonelists[MAX_ZONELISTS];
    int nr_zones;
    struct page *node_mem_map;
    unsigned long node_start_pfn;
    unsigned long node_present_pages;
    unsigned long node_spanned_pages;
    int node_id;
    // 其他字段...
};

// NUMA距离结构
struct numa_distance {
    u8 distance[MAX_NUMNODES];
};

2. NUMA内存分配策略

Linux内核支持多种NUMA内存分配策略：

NODES_MEMORY_POLICY_DEFAULT：默认策略，使用当前节点的内存
NODES_MEMORY_POLICY_PREFERRED：优先使用指定节点的内存
NODES_MEMORY_POLICY_BIND：只使用指定节点的内存
NODES_MEMORY_POLICY_INTERLEAVE：在指定节点之间交错分配内存
NODES_MEMORY_POLICY_LOCAL：优先使用本地节点的内存

3. NUMA内存分配器

NUMA内存分配器负责在NUMA系统中分配内存：

伙伴系统：管理物理内存的分配和释放
内存策略：根据NUMA策略分配内存
页面迁移：将内存页面迁移到更合适的节点

NUMA的配置和使用

1. 查看NUMA信息

numactl：查看和配置NUMA

# 查看NUMA节点信息
numactl --hardware

# 查看进程的NUMA内存使用情况
numactl --show

numa_info：查看NUMA信息
```
numa_info
```

sysfs：查看NUMA信息

# 查看NUMA节点
ls /sys/devices/system/node/

# 查看节点内存信息
cat /sys/devices/system/node/node0/meminfo

2. 配置NUMA

内核配置：启用NUMA支持

make menuconfig
# 选择 Processor type and features -> NUMA support

系统参数调整：

# 调整NUMA内存平衡
echo 1 > /proc/sys/kernel/numa_balancing

# 调整NUMA内存分配策略
echo 0 > /proc/sys/vm/zone_reclaim_mode

3. 应用程序使用NUMA

numactl命令：运行应用程序时指定NUMA策略

# 绑定进程到特定节点
numactl --cpunodebind=0 --membind=0 command

# 优先使用特定节点的内存
numactl --preferred=0 command

# 在多个节点之间交错分配内存
numactl --interleave=0,1 command

libnuma库：在应用程序中使用NUMA

#include <numa.h>

int main() {
    // 初始化NUMA
    numa_available();
    
    // 设置内存分配策略为绑定到节点0
    numa_bind(numa_allocate_nodemask());
    numa_node_to_cpus(0, numa_get_mems_allowed());
    
    // 分配内存
    void *ptr = numa_alloc_onnode(1024*1024, 0);
    
    // 释放内存
    numa_free(ptr, 1024*1024);
    
    return 0;
}

NUMA的性能优化

1. 内存分配优化

本地内存优先：尽量使用本地节点的内存
内存绑定：将应用程序的内存绑定到特定节点
内存交错：对于需要大量内存的应用程序，使用内存交错策略

2. 进程调度优化

处理器绑定：将进程绑定到特定的处理器
负载均衡：在NUMA节点之间平衡负载
进程迁移：将进程迁移到更合适的节点

3. 内存管理优化

页面迁移：将内存页面迁移到更合适的节点
内存回收：优先回收远程节点的内存
内存压缩：在内存不足时压缩内存

4. 应用程序优化

数据局部性：优化数据结构，提高数据局部性
内存访问模式：优化内存访问模式，减少远程内存访问
并行性：合理设计并行算法，充分利用NUMA架构

NUMA的应用场景

1. 服务器系统

服务器系统通常具有多个处理器和大量内存，NUMA技术可以提高服务器的性能。

应用案例：
- 数据库服务器
- Web服务器
- 虚拟化服务器

2. 高性能计算

高性能计算系统需要处理大规模数据，NUMA技术可以提高计算效率。

应用案例：
- 超级计算机
- 集群计算
- 科学计算

3. 大数据处理

大数据处理系统需要处理海量数据，NUMA技术可以提高数据处理速度。

应用案例：
- Hadoop集群
- Spark集群
- 数据仓库

4. 实时系统

实时系统对响应时间要求高，NUMA技术可以减少内存访问延迟。

应用案例：
- 工业控制系统
- 医疗设备
- 航空电子系统

NUMA的调试和分析

1. 调试工具

numastat：查看NUMA节点的内存使用情况
```
numastat
```
numa_top：实时查看NUMA节点的内存使用情况
```
numa_top
```
perf：分析NUMA相关的性能事件
```
perf record -g -e numa:*
perf report
```

2. 性能分析

内存访问模式分析：分析应用程序的内存访问模式

# 使用valgrind的massif工具分析内存使用
valgrind --tool=massif command

# 使用perf分析内存访问
perf record -e mem:* command
perf report

NUMA节点使用分析：分析NUMA节点的使用情况

# 查看进程的NUMA内存使用
numactl --show

# 查看系统的NUMA内存使用
cat /proc/zoneinfo

实际案例分析

案例：在数据库服务器上优化NUMA

问题：数据库服务器在NUMA系统上性能不佳

分析：

数据库服务器需要大量内存来缓存数据和索引
NUMA系统中，远程内存访问速度慢
数据库进程可能跨NUMA节点运行，导致远程内存访问

解决方案：

# 查看NUMA节点信息
numactl --hardware

# 绑定数据库进程到特定节点
numactl --cpunodebind=0 --membind=0 mysqld

# 调整MySQL配置
echo "innodb_buffer_pool_size = 8G" >> /etc/my.cnf
echo "innodb_buffer_pool_instances = 8" >> /etc/my.cnf
echo "innodb_numa_interleave = 1" >> /etc/my.cnf

# 监控NUMA内存使用
watch -n 1 numastat

案例：在高性能计算系统上优化NUMA

问题：高性能计算应用在NUMA系统上性能不佳

分析：

高性能计算应用需要大量内存和CPU资源
NUMA系统中，远程内存访问会影响性能
应用程序的内存访问模式可能导致大量远程内存访问

解决方案：

# 查看NUMA节点信息
numactl --hardware

# 编译应用程序时启用NUMA支持
gcc -lnuma -o app app.c

# 运行应用程序时使用NUMA策略
numactl --interleave=0,1,2,3 ./app

# 监控NUMA内存使用
watch -n 1 numastat