搜索
您的当前位置:首页正文

损失函数正则化

来源:独旅网

函数正则化是为了应对过拟合,防止模型只能适用于训练集,而无法用于测试集和实际环境。加入正则项,即可实现正则化,避免这个问题。

在此之前先了解两个范数

1.向量范数

L1-范数:若向量有N个元素,则向量范数为N个元素的绝对值之和

L2-范数:N个元素的平方先求和,再对和开方

2.矩阵范数

L1-范数:所有列向量求和,取和最大的那一列的和

L2-范数:也称为谱范数,是

3.正则化

基本上是一个或多个系数(正则强度alpha)分别乘以一个或多个范数组成,加入到预测的函数中,然后继续计算损失函数,寻找损失函数的极小值点或最小值点。

alpha属于超参数,要在开始前确定,一般通过交叉验证确定。

因篇幅问题不能全部显示,请点此查看更多更全内容

热门图文

Top