HBM 分层缓存模拟：页号回收不能靠字典长度

最新推荐文章于 2026-10-28 12:53:08 发布

原创最新推荐文章于 2026-10-28 12:53:08 发布 · 29 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

模型部署观察

本文探讨HBM分层缓存模拟中页号回收的关键问题，指出仅依赖字典长度判断空闲页会导致页号重复分配错误。强调显式维护空闲页集合、保障页号唯一所有权、活动页与空闲页互斥等核心原则，并指出从页号正确到换入正确还需建模异步拷贝、引用计数及状态协调等关键环节。

free list、唯一所有者与换入换出封面

把缓存从HBM移到主机内存，再按需换回，是一个容易讲清楚、很容易把模拟写错的题目。常见错误是用len(active)分配新页：释放中间页以后，字典长度可能恰好等于仍在使用的页号，下一次分配就发生碰撞。

先解决所有权，再讨论性能。每个活动页号只能属于一个对象；空闲页和活动页互不相交；容量耗尽就明确失败。一个连页号都可能重复的模拟器，不能拿来推导显存节省比例。

显式维护空闲页

下例只模拟固定页分配，不执行GPU复制。活动对象映射到页号，释放时把页号归还到堆中；对同一对象重复分配返回原页，不会泄漏容量。

释放中间页后从空闲集合分配，避免与活动页撞号

图中四个槽位表示独立示意：B、C占用1、2，D取得此前空闲的0。图叠加了分配前后的转移过程；分配完成后0必须从空闲表移除。下面代码另用三页容量、释放中间页1来测试碰撞反例。

封面是旧持有者释放以后向新持有者移交页号的顺序示意，底下进程标签不表示移交后的同步快照；真实活动集合与空闲集合必须始终互斥。

import heapq

class Pages:
    def __init__(self, capacity):
        self.free = list(range(capacity))
        heapq.heapify(self.free)
        self.active = {}
        self.capacity = capacity
    def acquire(self, key):
        if key in self.active:
            return self.active[key]
        if not self.free:
            raise MemoryError('no free page')
        page = heapq.heappop(self.free)
        self.active[key] = page
        self.check()
        return page
    def release(self, key):
        if key not in self.active:
            raise KeyError(key)
        heapq.heappush(self.free, self.active.pop(key))
        self.check()
    def check(self):
        owned = list(self.active.values())
        assert len(owned) == len(set(owned))
        assert set(owned).isdisjoint(self.free)
        assert set(owned) | set(self.free) == set(range(self.capacity))

pages = Pages(3)
assert [pages.acquire(k) for k in 'ABC'] == [0, 1, 2]
pages.release('B')
assert pages.acquire('D') == 1 and pages.active['C'] == 2
assert pages.acquire('D') == 1
try:
    pages.acquire('E')
except MemoryError:
    pass
else:
    raise AssertionError('over-allocation accepted')
print('middle-page reuse, unique ownership, capacity: PASS')