超级会员免费看
引言
本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。
💡系列文章完整目录： 👉点此👈
要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不适用外部框架的前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。
本文介绍解决过拟合与欠拟合的方法——正则化，主要介绍L1和L2正则化。
偏差与方差
首先来了解一下偏差与方差。
偏差指的是某个算法对训练数据的拟合度不够，高偏差意味着预测会不准确。以打靶为例的话，就是很多次射击都无法打到靶心上，妥妥的人体描边大师。
以Andrew Ng老师举的例子来说，如果训练误差为15%，验证误差为16%，此时属于高偏差，但这种情况下验证误差比较正常，只比训练高了一点。
方差指的是某个算法对训练数据中的小波动敏感，也就是是说导致算法拟合了训练数据中的噪声，而不是目标输出。通常表现为过拟合。以打靶为例的话，就是很多次射击都子弹都不集中，可能是手抖或压不住枪。
如果训练误差为1%，验
订阅专栏 解锁全文
4053
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
