更新学习率时,分母为0.0,即group[‘t_total’]=0.0
# 报错
BERT/optimization.py", line 169, in step
lr_scheduled = group['lr'] * schedule_fct(state['step']/(group['t_total']), group['warmup'])
ZeroDivisionError: float division by zero
解决方案:加入float(“1e-8”)
lr_scheduled = group['lr'] * schedule_fct(state['step']/(group['t_total']+float("1e-8")), group['warmup'])
附:AI工具箱
链接:https://hxmbzkv9u5i.feishu.cn/docx/Mv4Dd8TEYoUmTAxfpLtcUoOKnZc?from=from_copylink
本文解决了一个在BERT优化器中遇到的学习率更新时出现分母为零的问题。通过在分母部分加入极小的数值(float(“1e-8”))来避免除以零的错误。

5272

被折叠的 条评论
为什么被折叠?



