YARN Container的NUMA感知支持

关注

原创最新推荐文章于 2026-08-23 10:50:41 发布 2.4k 阅读 AI 写同款· GEO 优化 ›

限时加码！20+主流AI编程工具免费用购周边加赠Coding Plan Lite，Claude Code、Cursor等即刻畅享，学习进阶更高效！阅读详情

前言

在现有YARN的Container运行过程中，还没有考虑到计算机内存的访问模式。更进一步地来说，针对CPU处理器对于计算机内存的访问模式，YANR的Container执行在这方面还可以进一步优化。比如在多处理器情况下的计算机内存访问模式NUMA模式下，尽量减少跨内存区域的访问将会加速执行的速度。在早期的实现中，YARN并没有考虑到这些情况的。所以今天笔者带领大家了解一下NUMA架构体系以及YARN Container对于NUMA的感知执行。

NUMA架构体系

在阐述本文正文之前，可能有部分同学不了解什么是NUMA，所以这里做个简单地介绍。

NUMA，全称是Non-uniform memory access，用中文翻译为非一致性内存访问。现在的问题来了，NUMA架构是怎样的一种结构呢？它主要用来解决什么问题的呢？
下面笔者进行简单的解释。

其实在NUMA架构之前，内存是被处理器所共享的，然后通过总线方式进行数据的传输。随着处理器的增多，这里面处理器对于总线的竞争就会加剧。所以NUMA在这方面就做了改进，通过将内存分成多个小内存Node区域，每个小Node区域再被一部分处理器所共享。当然，这些处理器也可以访问别的Node区域的内存，只是说跨区域内存访问会慢于本地内存访问的速度。下面是NUMA架构体系。

P代表的是处理器。上图显示的左边为一个Node区域，一块内存被5个处理器所共享，右边同理。

通过NUMA的命令行工具，我们能直观地得到这些信息，如下命令：

$ numactl –hardware
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47
node 0 size: 65133 MB
node 0 free: 17786 MB
node 1 cpus: 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63
node 1 size: 65536 MB
node 1 free: 28880 MB
node distances:
node 0 1
0: 10 21
1: 21 10

上面命令是笔者在真实服务器上执行得到的结果，我们可以得出的信息有，总共2个node区域，每个node 64GB内存，32个核一个node，机器总内存128GB，64核。其中node0剩余内存17GB左右，node1则还有28GB左右内存的剩余空间。

YARN Container的NUMA感知优化

优化核心方向

在NUMA架构下的内存访问模式下，我们的一个核心优化方向其实很简单：

尽可能地让处理器访问本地的内存，减少远程内存的访问。

因为本地内存的访问速度是快于远程的，这个优化在YANR层面的解释就是:

尽可能地分配同个node区域的核和内存给Container执行。

Container NUMA感知执行的实现细节

社区在YARN-5764中对这个功能进行实现了，这里主要概括其实现的要点，具体代码就不展开阐述了。

主要有以下几点实现要点：

1.新增配置功能来控制YARN Container NUMA感知的功能。
2.系统NUMA信息可以通过获取系统信息或是由用户手动配置传入。
3.YARN内对NUMA信息进行解析，并转化为Node资源实例对象保存在内存中。
4.针对每个Container分配的时候，从NUMA获取的Node信息里，进行核数，内存资源的，注意，采用轮询的方式从每个Node里进行资源的划分。如果出现单个Node资源不足的情况下，再分配多个Node资源进行Container的分配。
5.每个Container在申请自己对应的Node id标号后，在启动的时候带上numa绑定CPU，内存的命令启动即可，绑定命令类似如下，此命令的作用就是让Container执行在指定node区域的内存和处理器上了。