损失函数

计算预测数据和真实标签之间的差距，其计算结果称为损失(Loss)，而计算方法称为损失函数。

设： $$ y_{i}真实标签，\hat y_{i}预测数据 $$

平均绝对误差(MAE)

MAE直接反映的是预测与标签之间差异的绝对值 $$ MAE=\frac{1}{n} \sum_{i=1}^{n} \begin{vmatrix} y_{i}- \hat y_{i} \end{vmatrix} $$ 求导： $$ \frac{\partial Loss}{\partial \hat y_{i}}=-\frac{1}{n} \frac{y_{i}- \hat y_{i}}{\begin{vmatrix} y_{i}- \hat y_{i} \end{vmatrix}} $$

均方差损失函数(MSE)

与MAE相比，MSE进行了平方处理，扩大了误差的表达，但可能易受异常值或离群点的影响

$$ MSE=\frac{1}{n} \sum_{i=1}^{n}(y_{i} - \hat y_{i})^{2} $$

求导：

$$ \frac{\partial Loss}{\partial \hat y_{i}}=-\frac{2}{n}(y_{i}-\hat y_{i}) $$

交叉熵损失函数

主要用于衡量不同概率分布之间的差异，常用于分类模型中

$$ CE=-\frac{1}{n}\sum_{i=1}^{n}[y_{i} log(\hat y_{i})+(1-y_{i})log(1-\hat y_{i})] $$

求导：

$$ \frac{\partial Loss}{\partial \hat y_{i}}=-\frac{1}{n}(\frac {y_{i}}{ \hat y_{i}}-\frac{1-y_{i}}{1-\hat y_{i}}) $$