[論文筆記] YOLOv4

Paper Information

原文：YOLOv4: Optimal Speed and Accuracy of Object Detection
機構：Institute of Information Science Academia Sinica, Taiwan
時間：2020 年

Background

YOLOv4 目的：建立一個 real time 且 high performance 的 object detector，並且只需要一張 gpu 即可做訓練。
在 YOLOv4 論文中，作者實驗了很多 object detection 的技巧，也介紹了很多 object detection 的概念，可以視作半個教科書。
需要注意的是，論文中提到的許多技巧（包含作者在論文中新提出的）例如，CmBN、modified SAT，都是沒有被用在 YOLOv4 上的。

Object Detection Models

如圖 2 所示，現今 object detector 的架構大致可以分成 4 個部份：
- Input：沒什麼好講的，就是圖片。
- Backbone：用於初步提取圖片的特徵。常用的模型包括：VGG16、ResNet、EfficientNet、CSPDarknet53 等。backbone 通常會先 pretrain 在 ImageNet 上。
- Neck：用於整合 backbone 的各層 feature map。常用的模型包括：SPP、FPN、PAN 等。
- Head：將 neck 整合好的特徵送入 head，用於預測 bounding box (bbox)。
常見的 head 可以分成 2 種：one-stage (dense) 與 two-stage (sparse)。由於 one-stage detector 在每個 grid 上都要預測是否有 bbox，因此稱為 dense。而 two-stage detector 因為有 ROI pooling 的幫助，因此只需要對 ROI 做預測即可，因次稱為 sparse。
- Dense Prediction (one-stage)：
  - RPN、SSD、YOLO、RetinaNet (anchor based)
  - CornerNet、CenterNet、MatrixNet、FCOS (anchor free)
- Sparse Prediction (two-stage)：
  - Faster R-CNN、R-FCN、Mask R-CNN (anchor based)
  - RepPoints (anchor free) 圖 2：Object Detector。

Model Architecture

YOLOv4 的主要架構如下：
- Backbone：CSPDarknet53 [81]
- Neck：SPP [25] + PAN [49]
- Head：YOLOv3 [63]
Darknet53：
- 如圖 A 所示，Darknet53 總共有 53 層 conv. layer，除去最後一層 Connected (FC，實際上是通過 1x1 的 conv. layer 實現，因此算進 53 的一員)，總共 52 層 conv. layer 用於當做主體網絡。
- 每層 conv. layer 而都包含：
  - Conv2D
  - BatchNormalization
  - LeakyReLU (但在 YOLOv4 裡選用 Mish)
- 圖 A 的輸入尺寸為 256x256，但實際上沒有限定一定要多少。論文中是使用 512x512。圖 A：Darknet53 架構圖。
CSPNet (Cross Stage Partial Network)：
- CSPNet 可以在不降低甚至增加準確度的情況下，減少 CNN 網路 10% 到 20% 的計算量。
- 如圖 B 所示，CSPNet 就是先將 base layer 依比例 $\gamma$ 拆分成兩份，其中一份原封不動，另一份則會經過 transition，最後兩者在 concatenate 起來，再經過一次 transition。
- 在 CSPDarketnet53 中，base layer 為每個 ResBlock Body 前的 conv. layer 的 feature map，而 transition 則為一層 conv. layer。


圖 B：CSPNet 示意圖。

SPP (Spatial pyramid pooling) + PAN (Path Aggregation Network)：

這裡引用知乎@周威的解說，如圖 C 所示。
SPP 的使用主要使在 process1 裡。

process1：

# input shape = 19x19
y19 = DarknetConv2D\_BN\_Leaky(512, (1,1))(darknet.output)
y19 = DarknetConv2D\_BN\_Leaky(1024, (3,3))(y19)
y19 = DarknetConv2D\_BN\_Leaky(512, (1,1))(y19)

# SPP
maxpool1 = MaxPooling2D(pool\_size=(13,13), strides=(1,1), padding='same')(y19)
maxpool2 = MaxPooling2D(pool\_size=(9,9), strides=(1,1), padding='same')(y19)
maxpool3 = MaxPooling2D(pool\_size=(5,5), strides=(1,1), padding='same')(y19)
y19 = Concatenate()([maxpool1, maxpool2, maxpool3, y19])

y19 = DarknetConv2D\_BN\_Leaky(512, (1,1))(y19)
y19 = DarknetConv2D\_BN\_Leaky(1024, (3,3))(y19)
y19 = DarknetConv2D\_BN\_Leaky(512, (1,1))(y19)

process2：

# upsampling
y19\_upsample = compose(DarknetConv2D\_BN\_Leaky(256, (1,1)), UpSampling2D(2))(y19)

# input shape = 38x38
concatenate
y38 = DarknetConv2D\_BN\_Leaky(256, (1,1))(darknet.layers[204].output)
y38 = Concatenate()([y38, y19\_upsample])

y38 = DarknetConv2D\_BN\_Leaky(256, (1,1))(y38)
y38 = DarknetConv2D\_BN\_Leaky(512, (3,3))(y38)
y38 = DarknetConv2D\_BN\_Leaky(256, (1,1))(y38)
y38 = DarknetConv2D\_BN\_Leaky(512, (3,3))(y38)
y38 = DarknetConv2D\_BN\_Leaky(256, (1,1))(y38)

process3：

# upsampling
y38\_upsample = compose(DarknetConv2D\_BN\_Leaky(128, (1,1)), UpSampling2D(2))(y38)

# input shape = 76x76
y76 = DarknetConv2D\_BN\_Leaky(128, (1,1))(darknet.layers[131].output)
y76 = Concatenate()([y76, y38\_upsample])

process4：對 process3 的輸出做 downsampling (Conv2D、filters=256、size=(3,3)、strides=(2,2)) 後，與 process2 的輸出做 concatentate。
process5：對 process4 的輸出做 downsampling (Conv2D、filters=256、size=(3,3)、strides=(2,2)) 後，與 process1 的輸出做 concatentate。圖 C：YOLOv4 整體架構圖。(圖片來源：知乎@周威)

YOLO HEAD 1 由多層 conv. layer 所組成。最後一層為 76x76x(num_anchor*(num_classes+5))。HEAD 2、3 依此類推。

Experiments & Results

IOU Loss：CIOU (Complete IOU Loss)
- $w^{gt}$、$h^{gt}$：width and height of ground truth box
- $w$、$h$：width and height of predicted box
  $$
  L_{CIOU} = 1 - IOU(A, B) + \frac{\rho^{2}(A_{ctr}, B_{ctr})}{c^{2}} + \alpha \cdot v \
  \alpha = \frac{v}{(1 - IOU) + v} \
  v = \frac{4}{\pi^{2}}(arctan \frac{w^{gt}}{h^{gt}} - arctan \frac{w}{h})^{2}
  $$
Data Augmentation：Mosaic


圖 2：Mosaic Augmentation。

References

YOLO V4 — 网络结构解析（特详细！） - 知乎 (zhihu.com)
YOLO V4 — 损失函数解析（特详细！） - 知乎 (zhihu.com)
[25] Spatial pyramid pooling in deep convolutional networks for visual recognition.
[49] Path aggregation network for instance segmentation.
[63] YOLOv3: An incremental improvement.
[81] CSPNet: A new backbone that can enhance learning capability of cnn.