Localization Distillation for Dense Object Detection

Introduction

论文题目 ：Localization Distillation for Dense Object Detection

论文地址 ：https://arxiv.org/pdf/2102.12252.pdf

论文出处 ：2022’CVPR

代码实现 ：https://github.com/HikariTJU/LD

Idea

把用于分类的KD（Knowledge Distillation），用于回归BBox中，形成了LD（Localization Distillation）。

做法：先把bbox的4个logits输出值，离散化成4n个logits输出值，之后与分类KD几乎一致。

Detail

Logits Distillation

参考文献⏬

现在的深度学习模型越来越大，尤其是近年Transformer比较火，而各种基于的Transformer的模型参数普遍较多，在这种情况下就需要找到有效的模型压缩的方法。知识蒸馏就又回归到了研究者的视野之中。

KD最早就是专门为图像分类而设计的：

核心思想：就是用一个已训练的复杂模型（Teacher，黑盒）输出的知识，去指导一个小模型（Student）训练学习。

知识：soft targets和hard targets

分类采用的是one-hot编码：

hard targets: Ground truth <=> $[0, 0, 1, 0, 0, 0]$ 极大似然

soft targets： Softmax层输出 <=> $[0.01,0.03,0.91,0.01,0.02,0.01]$ 概论分布

softmax层的输出，除了正例之外，负标签也带有大量的信息，比如某些负标签对应的概率远远大于其他负标签。而在传统的训练过程(hard target)中，所有负标签都被统一对待。

蒸馏：温度T

$q_{i}^{1} = \frac{exp(z_i)}{\sum_{k}^{N}(z_k)}$

但是原始softmax函数的负标签概率都接近0，对损失函数的贡献非常小。

$q_{i}^{T} = \frac{exp(z_i/T)}{\sum_{k}^{N}(z_k/T)}$

当T=1时，就是原始softmax函数，T越高，标签越平滑，负标签携带的信息会被相对地放大

T = 100，标签更平滑
$[0.01,0.03,0.91,0.01,0.02,0.01]$
$[0.0001,0.0003,0.0091,0.0001,0.0001,0.0001]$

distill loss

$L_{KD} = \alpha L_{soft} + \beta L_{hard}$

在温度T的条件下，student的softmax输出和teacher输出的soft target的cross entropy就是Loss函数的第一部分

$L_{soft} = -\sum_{j}^{N}p_{j}^{T}log(q_{j}^{T})$

其中 $p_{i}^{T} = \frac{exp(v_i/T)}{\sum_{k}^{N}(v_k/T)},q_{i}^{T} = \frac{exp(z_i/T)}{\sum_{k}^{N}(z_k/T)}$

在温度T=1的条件下，student的softmax输出和ground truth的cross entropy就是Loss函数的第二部分

$L_{hard} = -\sum_{j}^{N}c_{j}log(q_{j}^{1})$

其中 $q_{i}^{1} = \frac{exp(z_i)}{\sum_{k}^{N}(z_k)}$

上述公式中：
$v_i$ ：Teacher模型中的logits(logits是softmax之前，网络中最后一个全连接层的输出)
$z_i$ ： student模型中的logits
$p_{i}^{T}$ ：Teacher模型在温度T下的softmax输出在第i类上的值
$q_{i}^{T}$ ：student模型在温度T下的softmax输出在第i类上的值
$c_i$ ： ground truth在第i类上的值，正标签取1，负标签取0
$N$ ：总标签的数量