超级会员免费看
基于铁电场效应晶体管（FeFET）的片上深度神经网络（DNN）直接反馈对齐训练
1. 引言
深度神经网络（DNN）处于各种人工智能（AI）应用最新变革的核心，如计算机视觉、自然语言处理、自主系统和精准医疗等。DNN 首先需要使用带标签的数据进行训练，以执行特定任务（如图像分类或目标检测），通常需要运行数百或数千次迭代才能获得可接受的准确率，之后训练好的模型可用于推理任务。
DNN 的执行，尤其是训练过程，需要大量的计算和巨大的内存存储。例如，AlexNet 这样的中型 DNN，对一张仅 224×224 像素的 RGB 图像进行训练，就涉及 6200 万个参数、22 亿次运算以及超过 130MB 的内存存储。而且，从 2012 年的 AlexNet 到 2018 年的 AlphaGo Zero，DNN 训练的计算量不断增加了 300000 倍，每 3.4 个月计算量就会翻倍。
为满足 DNN 不断增长的计算需求，特定领域加速器被广泛采用。与通用 CPU 和 GPU 相比，这些加速器通过密集的数据重用和专门设计的内存层次结构，可将性能提高两到三个数量级。然而，大多数加速器仅设计用于 DNN 推理，缺乏对 DNN 训练的基本支持，主要原因有两点：
- 目前的主流训练方法——误差反向传播（BP）算法，涉及复杂的计算阶段和复杂的数据依赖。BP 需要将所有权重和中间数据存储在内存中，以便在后续的误差反向传播路径中按顺序使用。这使得权重更新是非局部的，依赖于上游层，极大地限制了训练并行化，阻碍了系统计算性能的持续提升。
- BP 算法的复杂性在计算单元、内存和控制电路等硬件方面带来了显著的开销。尽管一些最新的加速器（如谷歌 TPU V3 以及学术界的一些提案）试图满足训练需
订阅专栏 解锁全文
1053
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
