目标检测中的常用损失函数

一般的目标检测模型包含两类损失函数，一类是类别损失（分类），另一类是位置损失（回归）。这两类损失函数往往用于检测模型最后一部分，根据模型输出（类别和位置）和实际标注框（类别和位置）分别计算类别损失和位置损失。

类别损失

Cross Entropy Loss

交叉熵损失是基于“熵”这个概念，熵用来衡量信息的不确定性。对于概率分布为$p(X)$的随机变量$X$,熵可以表示为：

$$f(x)=\left\{ \begin{aligned} -\int{p(x)\log p(x)dx} & &{x连续}\\ -\sum_{x}\log p(x) & &{x离散} \end{aligned} \right.$$

当$X$分布的不确定性越大，对应的熵越大（对应$\log(x)$）积分面积），反之，熵越小。当把熵用于分类问题时，分类的结果越好（可以理解为预测为某一类的概率远高于其他类别的概率），不确定性越低，熵就越小；反之，分类的结果越差（可以理解为预测的各个类别的概率都比较高，没有明确的分界线），此时不确定性越强，熵就越高。

针对以上分析，可以把熵用于分类问题的损失，根据分类的类别数量不同，可以分为二元交叉熵损失和多分类交叉熵损失。

对于二分类问题（即0-1分类），即属于第1类的概率为$p$，属于第0类的概率为$1-p$。则二元交叉熵损失可表示为：

$$L=\left\{ \begin{aligned} -\log (1-p) & &{y=0}\\ -\log (p) & &{y=1} \end{aligned} \right.$$

也可以统一写成如下形式：

$$L = -y* \log(p) - (1-y) * \log(1-p)$$

可以理解为：当实际类别为1时，我们希望预测为类别1的概率高一点，此时$log(p)$的值越小，产生的损失越小；反之，我们希望预测为类别0的概率高一点，此时$log(1-p)$的值越小，产生的损失也越小。在实际应用中，二分类的类别概率通常采用sigmoid函数把结果映射到（0，1）之间。

对比二元交叉熵损失，可以推广到多分类交叉熵损失，定义如下：

$$L(X_i, Y_i) = -\sum_{j=1}^{c}{y_{ij} * \log(p_{ij})}$$

其中,$Y_i$是一个one-hot向量，并定义如下：

$$y_{ij}=\left\{ \begin{aligned} 1 & &{第i个样本属于类别j}\\ 0 & &{otherwise} \end{aligned} \right.$$

$p_{ij}$表示第$i$个样本属于类别j的概率。在实际应用中通常采用SoftMax函数来得到样本属于每个类别的概率。

Focal Loss

Focal Loss首次在目标检测框架RetinaNet中提出，RetinaNet可以参考

目标检测论文笔记：RetinaNet

它是对典型的交叉信息熵损失函数的改进，主要用于样本分类的不平衡问题。为了统一正负样本的损失函数表达式，首先做如下定义：

$$p_t=\left\{ \begin{aligned} p & &{y =1}\\ 1-p & &{y=0} \end{aligned} \right.$$

$p_t$在形式上就表示被预测为对应的正确类别的置信度。这样二分类交叉信息熵损失就可以重写成如下形式：

$$CE(p,y) = CE(p_t) = -\log(p_t)$$

为了平衡多数类和少数类的损失，一种常规的思想就是在损失项前乘上一个平衡系数$\alpha\in(0,1)$，当类别为正时，取$\alpha_t=\alpha$,当类别为负时，取$\alpha_t=1-\alpha$,这样得到的带有平衡系数的交叉信息熵损失定义如下：

$$CE(p_t) = -\alpha \log(p_t)$$

这样，根据训练样本中正负样本数量来选取$\alpha$的值，就可以达到平衡正负样本的作用。然而，这样做还不能对简单和困难样本区别对待，在目标检测中，既要平衡多数类（背景）和少数类（包含目标的前景），还要平衡简单样本和困难样本，而往往训练过程中往往遇到的问题就是大量简单的背景样本占据损失函数的主要部分。因此，还需要对上述带有平衡系数的交叉信息熵损失做进一步的改进。于是就有了Focal Loss，它定义如下：

$$FL(p_t) = -(1-p_t)^{\gamma} \log(p_t)$$

相比于上面的加了平衡系数$\alpha$的损失函数相比，Focal Loss有以下两点不同：

• 固定的平衡系数$\alpha$替换成了可变的平衡系数$(1-p_t)$
• 多了另外一个调节因子$\gamma$,且$\gamma\ge0$

位置损失

L1 Loss

L1 loss即平均绝对误差（Mean Absolute Error, MAE），指模型预测值和真实值之间距离的平均值。

$$MAE=\frac{\sum_{n=1}^n{|f(x_i)-y_i|}}{n}$$

记$x=f(x_i-y_i)$，对于单个样本，L1 loss可表示为：

$$MAE= |f(x_i)-y_i|=|x|$$

L2 Loss

L2 loss即均方误差损失（Mean Square Error, MSE），指预测值和真实值之差的平方的平均值。

$$MSE=\frac{\sum_{n=1}^n{(f(x_i)-y_i)^2}}{n}$$

对于单个样本，L2 loss可表示为：

$$MSE = (f(x_i)-y_i)^2=x^2$$

Smooth L1 Loss

Smooth L1 loss是基于L1 loss修改得到，对于单个样本，记$x$为预测值和真实值的差值，则对应的Smooth L1 loss可表示为：

$$f(x)=\left\{ \begin{aligned} 0.5x^2 & &{if|x|<1}\\ |x|-0.5 & &{otherwise} \end{aligned} \right.$$

IoU Loss

IoU类的损失函数都是基于预测框和标注框之间的IoU（交并比），记预测框为$P$，标注框为$G$，则对应的IoU可表示为：

$$IoU = \frac{P \cap G}{P \cup G}$$

即两个框的交集和并集的比值。IoU loss定义为：

$$L_I = 1 - IoU$$

GIoU Loss

IoU反映了两个框的重叠程度，在两个框不重叠时，IoU衡等于0，此时IoU loss恒等于1。而在目标检测的边界框回归中，这显然是不合适的。因此，GIoU loss在IoU loss的基础上考虑了两个框没有重叠区域时产生的损失。具体定义如下：

$$L_G = 1 - IoU + R(P,G)= 1 - IoU + \frac{|C-P \cup G|}{|C|}$$

其中，C表示两个框的最小包围矩形框，$R(P,G)$是惩罚项。从公式可以看出，当两个框没有重叠区域时，IoU为0，但$R$依然会产生损失。极限情况下，当两个框距离无穷远时，$R \rightarrow1$

DIoU Loss

IoU loss和GIoU loss都只考虑了两个框的重叠程度，但在重叠程度相同的情况下，我们其实更希望两个框能挨得足够近，即框的中心要尽量靠近。因此，DIoU在IoU loss的基础上考虑了两个框的中心点距离，具体定义如下：

$$L_D = 1 - IoU + R(P,G)= 1 - IoU + \frac{\rho^2(p,g)}{c^2}$$

其中，$\rho$表示预测框和标注框中心端的距离，$p$和$g$是两个框的中心点。$c$表示两个框的最小包围矩形框的对角线长度。当两个框距离无限远时，中心点距离和外接矩形框对角线长度无限逼近，$R \rightarrow1$

下图直观显示了不同情况下的IoU loss、GIoU loss和DIoU loss结果：

其中，绿色框表示标注框，红色框表示预测框，可以看出，最后一组的结果由于两个框中心点重合，检测效果要由于前面两组。IoU loss和GIoU loss的结果均为0.75，并不能区分三种情况，而DIoU loss则对三种情况做了很好的区分。

CIoU Loss

DIoU loss考虑了两个框中心点的距离，而CIoU loss在DIoU loss的基础上做了更详细的度量，具体包括：

• 重叠面积
• 中心端距离
• 长宽比

具体定义如下：

$$L_C = 1 - IoU + R(P,G)= 1 - IoU + \frac{\rho^2(p,g)}{c^2} + \alpha v$$

其中:

$$\begin{align*} v &= \frac{4}{\pi^2}(arctan\frac{w^g}{h^g} - arctan\frac{w^p}{h^p})^2 \\ \alpha &= \frac{v}{(1-IoU)+v} \end{align*}$$

可以看出，CIoU loss在DIoU loss的不同在于最后一项$\alpha v$，$v$度量了两个框的长宽比的距离，$\alpha$相当于一个平衡系数，取值由IoU和$v$共同决定。需要注意的是，计算$v$关于$w^p$和$h^p$的梯度时，会在分母上出现${w^p}^2+{h^p}^2$，而CIoU中，$w^p$和$h^p$均是归一化后的值，会导致${w^p}^2+{h^p}^2$的结果很小，容易出现梯度爆炸。因此，在官方的代码实现上，对损失函数做了优化，移除了梯度公式中${w^p}^2+{h^p}^2$。

在使用CIoU loss时需要注意的是，在代码实现上，公式中的$v$仅用于计算$\alpha$，而原来的$v$会用另一个变量$a_r$代替，在计算$a_r$的时候需要用到标准化的宽高（使用绝对宽高loss会发散）。

注：关于IoU系列损失更详细的分析可以参考论文：Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression