Loss 震荡的夜晚：先缩小搜索，再解释波动

Loss曲线在夜里忽高忽低，确实容易让人给它安排一个故事：学习率太激进，数据正在发生相变，或者模型终于“悟了”。但一条曲线能容纳的解释太多，先缩小实验，往往比先扩大叙事更有帮助。

我会先问：这次改了几个变量？比较的窗口一样长吗？同一个种子有没有重跑？日志里有没有记录失败和提前终止？这些问题不浪漫，却能减少把偶然现象写成规律的冲动。

先列搜索表，别用回忆挑胜者

下面只是实验组合与数据切分校验。它不训练模型，也不模拟一组“看起来真实”的Loss。固定候选集合、保留全部种子，并明确训练和评估样本不重叠，至少能避免在记录层面偷换条件。

from itertools import product

learning_rates = ['1e-4', '3e-4']
seeds = [7, 17, 27]
runs = [{'lr': lr, 'seed': seed, 'status': 'not_run', 'loss': None}
        for lr, seed in product(learning_rates, seeds)]
assert len(runs) == 6
assert len({(r['lr'], r['seed']) for r in runs}) == 6
train_ids = {'sample-1', 'sample-2', 'sample-3'}
eval_ids = {'sample-4', 'sample-5'}
assert train_ids.isdisjoint(eval_ids)
assert all(r['loss'] is None for r in runs)
print('six planned runs; split disjoint; no fabricated loss values: PASS')

成功一次和稳定成功是两种问题

IBM Research的10月20日文章区分平均成功率与四次尝试全部成功的Pass^4。它们回答的问题不同，不能把一次成功当作稳定性的证据，也不能把论文的分数借给自己的小实验。研究原文

对超参数实验也一样。若一个配置只在某个种子上最好，可以保留这个观察，但结论应限于这次比较。还要看方差、失败率和预算，必要时用新的评估样本确认，避免反复看同一测试集直到挑出满意答案。

上面的标准库例子已在本地验证组合数量与切分不重叠，没有训练、GPU或真实模型测试。图中的研究者与表格是情境示意，格子不是运行成绩。

我仍然愿意叫这个过程“炼丹”，因为它包含等待和手感。但手感可以帮助提出假设，不能替代记录。天亮以后，如果还说不清哪次改动对应哪条曲线，先补那一格记录，不必急着给模型写一篇悟道传。