作者|GUEST BLOG
编译|Flin
来源|analyticsvidhya
介绍
对象检测是计算机视觉社区中研究最广泛的主题之一。它已经进入了各个行业，涉及从图像安全，监视，自动车辆系统到机器检查的用例。
当前，基于深度学习的对象检测可以大致分为两类：
两级检测器，例如基于区域的CNN（R-CNN）及其后续产品。 一级探测器，例如YOLO系列探测器和SSD应用于锚框的常规，密集采样（可能的物体位置）的一级检测器可能会更快，更简单，但由于在训练过程中遇到极端的等级失衡，其精度已经落后于两级探测器。
FAIR在2018年发表了一篇论文，其中他们引入了焦点损失的概念，用他们称为RetinaNet的一级探测器来处理此类不平衡问题。
在我们深入探讨焦点丢失的本质之前，让我们首先了解这个类不平衡问题是什么以及它可能引起的问题。
目录
为什么需要焦点损失 什么是焦点损失交叉熵损失
交叉熵问题 例子平衡交叉熵损失
平衡交叉熵问题 例子焦点损失说明
例子交叉熵损失 vs 焦点损失
容易正确分类的记录 分类错误的记录 非常容易分类的记录 最后的想法为什么需要焦点损失
两种经典的一级检测方法，如增强型检测器，DPM和最新的方法（如SSD）都可以评估每个图像大约10^4 至 10^5个候选位置，但只有少数位置包含对象（即前景），而其余只是背景对象。这导致了类不平衡的问题。
这种不平衡导致两个问题
训练效率低下，因为大多数位置都容易被判断为负类（这意味着检测器可以轻松将其归类为背景），这对检测器的学习没有帮助。 容易产生的负类（概率较高的检测）占输入的很大一部分。虽然单独计算的梯度和损失较小，但它们可能使损耗和计算出的梯度不堪重负，并可能导致模型退化。什么是焦点损失
简而言之，焦点损失（Focal Loss，FL）是交叉熵损失（Cross-Entropy Loss，CE）的改进版本，它通过为难分类的或容易错误分类的示例（即带有噪声纹理的背景或部分对象的或我们感兴趣的对象）分配更多的权重来处理类不平衡问题，并对简单示例（即背景对象）降低权重。
因此，焦点损失减少了简单示例的损失贡献，并加强了对纠正错误分类的示例的重视。
因此，让我们首先了解二进制分类的交叉熵损失。
交叉熵损失
交叉熵损失背后的思想是惩罚错误的预测，而不是奖励正确的预测。
二进制分类的交叉熵损失如下：
其中：
Yact = Y的实际值
Ypred = Y的预测值
为了标记方便，我们记 Yact = Y 且 Ypred = p 。
Y∈{0,1}，这是正确标注
p∈[0,1]，是模型对Y = 1的类别的估计概率。
为了符号上的方便，我们可以将上述方程式改写为：
pt = {-ln(p) ,当Y=1 -ln(1-p) ,当 Y=}
CE（p，y）= CE（pt）=-ln（pt）
交叉熵问题
如你所见，下图中的蓝线表示当p非常接近0（当Y = 0时）或1时，容易分类的pt > 0.5的示例可能会产生不小的幅度的损失。
让我们用下面的例子来理解它。
例子
假设，前景（我们称其为类1）正确分类为p = 0.95 ——
CE（FG）= -ln（0.95）= 0.05
并且背景（我们称其为类0）正确分类为p = 0.05 ——
CE（BG）=-ln（1- 0.05）= 0.05
问题是，对于类不平衡的数据集，当这些小的损失在整个图像上相加时，可能会使整体损失（总损失）不堪重负。因此，将导致模型退化。
平衡交叉熵损失
解决类别不平衡问题的一种常见方法是为类别引入权重因子∝[0,1]
为了标记方便，我们可以在损失函数中定义 ∝t 如下：
CE（pt）= -∝t ln ln（pt）
如你所见，这只是交叉熵的扩展。
平衡交叉熵的问题
我们的实验将表明，在密集检测器训练过程中遇到的大类不平衡压倒了交叉熵损失。
容易分类的负类占损耗的大部分，并主导梯度。虽然平衡了正例/负例的重要性，但它并没有区分简单/困难的示例。
让我们通过一个例子来理解这一点
例子
假设，前景（我们称其为类1）正确分类为p = 0.95 ——
CE（FG）= -0.25 * ln（0.95）= 0.0128
正确分类为p = 0.05的背景（我们称之为类0）——
CE（BG）=-（1-0.25）* ln（1- 0.05）= 0.038
虽然可以很好地正确区分正类和负类，但仍然不能区分简单/困难的例子。
这就是焦点损失（扩展到交叉熵）起作用的地方。
焦点损失说明
焦点损失只是交叉熵损失函数的扩展，它将降低简单示例的权重，并将训练重点放在困难的负样本上。
为此，研究人员提出：
（1- pt）γ 为交叉熵损失，且可调聚焦参数γ≥0。
RetinaNet物体检测方法使用焦点损失的α平衡变体，其中α = 0.25，γ= 2效果最佳。
因此，焦点损失可以定义为——
FL (pt) = -αt(1- pt)γ log log(pt).
对于γ∈[0,5]的几个值，可以看到焦点损失，请参见图1。
我们将注意到焦点损失的以下特性：
当示例分类错误并且pt小时，调制因数接近1，并且损失不受影响。 当 pt →1 时，该因子变为0，并且对分类良好的示例的损失进行了权衡。 聚焦参数γ平滑地调整了简单示例的权重。随着增加，调制因数的作用同样增加。（经过大量实验和试验，研究人员发现γ = 2效果最佳）
注意：当γ= 0时，FL等效于CE。参考图中蓝色曲线。
直观上，调制因数减少了简单示例的损耗贡献，并扩展了示例接收低损耗的范围。
让我们通过一个例子来了解上述焦点损失的特性。
例子
当记录（前景或背景）被正确分类时， 前景正确分类，预测概率p=0.99，背景正确分类，预测概率p=0.01。pt = {0.99，当Yact = 1 时 1-0.01，当Y act = 0时}调制因数（FG）=（1-0.99）2 = 0.0001
调制因数（BG）=（1-（1-0.01））2 = 0.0001,如你所见，调制因数接近于0，因此损耗将被权重降低。
pt = {0.01，当Yact = 1 时 1-0.99，当Y act = 0时}调制因数（FG）=（1-0.01）2 = 0.9801
调制因数（BG）=（1-（1-0.99））2 = 0.9801如你所见，调制因数接近于1，因此损耗不受影响。
现在，让我们使用一些示例比较交叉熵和焦点损失，并查看焦点损失在训练过程中的影响。
交叉熵损失 vs 焦点损失
让我们通过考虑以下几种情况来进行比较。
容易正确分类的记录
假设前景正确分类的预测概率为p = 0.95，背景正确分类的背景为预测概率p = 0.05。
pt = {0.95, 当 Yact=1时 1-0.05 ,当 Yact = 0时} CE(FG)= -ln (0.95) = 0.0512932943875505
让我们考虑在∝ = 0.25和γ= 2时的焦点损失。
FL(FG)= -0.25 (1-0.95)2 ln (0.95) = 3.2058308992219E-5
FL(BG)= -0.75 (1-(1-0.05))2 ln (1-0.05) = 9.61E-5
分类错误的记录
假设预测概率p=0.05的前景被分类为预测概率p=0.05的背景对象。
pt = {0.95，当Y act = 1 1-0.05时，当Y act = 0时}
CE（FG）= -ln（0.05）= 2.995732273553991
CE（BG）= -ln（1-0.95）= 2.995732273553992
让我们考虑相同的场景，即∞=0.25和γ=2。
FL（FG）= -0.25 （1-0.05）2 ln（0.05）= 0.675912094220619
FL（BG）= -0.75 （1-（1-0.95））2 ln（1-0.95）= 2.027736282661858
非常容易分类的记录
假设对预测概率p=0.01的背景对象，用预测概率p=0.99对前景进行分类。
pt = {0.99, 当 Yact=1时 1-0.01 ,当 Yact = 0时}CE(FG)= -ln (0.99) = 0.0100503358535014
CE（BG）= -ln（1-0.01）= 0.0100503358535014
让我们考虑相同的场景，即∞=0.25和γ=2。
FL（FG）= -0.25 （1-0.01）2 ln（0.99）= 2.51 * 10 -7
FL（BG）= -0.75 （1-（1-0.01））2 ln（1-0.01） = 7.5377518901261E-7
最后的想法
方案1：0.05129 / 3.2058 * 10 -7 =小1600倍
方案2：2.3 / 0.667 =小4.5倍
方案3：0.01 / 0.00000025 =小40,000倍。
这三个案例清楚地说明了焦点损失如何减小分类良好的记录的权重，另一方面又为错误分类或较难分类的记录赋予较大的权重。
经过大量的试验和实验，研究人员发现 ∝ = 0.25和 γ = 2 效果最佳。
尾注
在对象检测中，我们经历了从交叉熵损失到焦点损失的整个进化过程。我已经尽力解释了目标检测中的焦点损失。
感谢阅读！
参考
https://arxiv.org/ftp/arxiv/p... https://medium.com/@14prakash... https://developers.arcgis.com... / guide / how-retinanet-works /原文链接：https://www.analyticsvidhya.c...
欢迎关注磐创AI博客站：
http://panchuang.net/
sklearn机器学习中文官方文档：
http://sklearn123.com/
欢迎关注磐创博客资源汇总站：
http://docs.panchuang.net/
