tags: Paper Notes V+L

OSCAR (Object-Semantics Aligned Pre-training)

• 原文：Oscar: Object-Semantics Aligned Pre-training for Vision-Language Tasks
• 機構：Microsoft Corporation, University of Washington
• 時間：2020 年

Introduction

• 受到 BERT 的啟發，最近 V+L models 也開始流行 vision-language pre-training (VLP)。而 OSCAR 正是其中的一員。
• OSCAR 的作法便是將 <word, tag, region> 丟進 multi-layer Transformer 做 pre-training，最後再針對特定任務做 fine-tuning。如 Fig. 1 所示。
  • word：word sequence
  • tag：a set of object tags
  • region：a set of image region features

• VLP：透過 self-supervised learning 學習 image-text 的 cross-model representations，概念上就跟 BERT 差不多。

Oscar Pre-training

• Input：text 與 image 會先做以下處理：
  • text：做 word embedding 得到 $w$。
  • image：經過 Faster R-CNN 後得到數個 object 的 region features $v$ 以及它們對應的 tags（文字形式）。對 tags 做 word embedding 得到 $q$。
• OSCAR input 可以用 2 種觀點（view）來看：
  • $x$：modality view
  • $x'$：dictionary view

• 針對不同的觀點，我們可以設計不同的 loss 做 self-supervised learning：
  • Modality View：$Contrasitive\ Loss$
    • 將 $h' = [q, v]$ 視為 image modality，$w$ 視為 language modality。
    • $q$ 有 50% 的機率被換成其它 tag sequence。
    • 使用資料集 $D$ 中的隨機抽樣而得 tag sequence 做替換。
    • [CLS] 的輸出端會接上一層 fully connected (FC) layer 當作 binary classifier $f(\cdot)$。用於預測 $q$ 是否為原來的 tag sequence。
    • contrasitive loss $L_{C}$ 公式如下：
      $$
      L_{C} = E_{(h',w) \sim D} \log p(y|f(h',w))
      $$
      • $y = 1$ 表示 $q$ 是原來的。
      • $y = 0$ 表示 $q$ 有被替換。
  • Dictionary View：$Masked\ Token\ Loss$
    • 定義 discrete token sequence $h = [q, w]$。
    • $h$ 中的 token 有 15% 的機率被蓋掉，蓋掉的布部分用 [MASK] 表示。
    • 模型要做的就是預測被蓋掉的這些 token 是什麼。訓練方法就跟 BERT 一樣。
    • masked token loss $L_{MTL}$ 的公式如下：
      $$
      L_{MTL} = E_{(v, h) \sim D} \log p(h_{i} | h_{\setminus i}, v)
      $$
      • $h_{i}$：被蓋掉的 token。
      • $h_{\setminus i}$：沒被蓋掉的 token。
• 綜上所述，OSCAR 的 pre-training objective 即為（如 Fig. 3 所示）：
  $$
  L_{pre-training} = L_{C} + L_{MTL}
  $$
  • $L_{C}$：二分類是否使用原本的 tag sequence。
  • $L_{MTL}$：預測被蓋掉的 token 是什麼。

• Pre-training Corpus：OSCAR 用了很多 V+L datasets 作為 pre-training corpus，包括：COCO [21]、Conceptual Captions (CC) [31]、SBU captions [26]、flicker30k [44]、GQA [3]。總計 410 萬張圖片、650 萬對 text-tag-image。
• 模型超參數如下：
  • OSCAR~L~ 對應 BERT~large~ 的參數。H = 1024。
  • OSCAR~B~ 對應 BERT~base~ 的參數。H = 768。
  • 為了讓 $v$ 的維度能更 $w, q$ 一樣，在 $v$ 輸入至 OSCAR 之前會先經過 linear 的轉換。
  • Optimizer：AdamW Optimizer
  • OSCAR~B~ 共訓練 100 萬個 steps、learning rate = 5e^-5^、batch size = 768。
  • OSCAR~L~ 共訓練 90 萬個 steps、learning rate = 1e^-5^、batch size = 512。
  • $h$ 與 $v$ 的 sequence lenth 分別是 35 與 50。

Experiments & Results

（由於我是做 VQA 的，因此這裡只關注在 VQA 上的成果，其它部分詳見原文）

• OSCAR 與其它 VQA SOTA 如 Table 2 (b) 所示。

• 作者將 image region 與 word token 丟入模型後，將模型最後一層的輸出抓出來當作 learned semantic features，然後將 learned semantic features 用 t-SNE 降維至二維，最後查看它們的空間分布。如 Fig 4. 所示，相較於 baseline，對於相似的物件，OSCAR 的輸出結果較為接近。

• 作者分別用 Visual Geome (VG) 與 Open Image (OI) 訓練了兩種 Faster R-CNN。用來觀測不同的 tag sets 影響。實驗結果如 Table 4 所示。OSCAR^VG^ 的效能比 OSCAR^OI^ 好，推測就是因為 VG 中的物件種類較多。

References

[3] Aligning sentences in parallel corpora.
[21] Microsoft COCO: Common objects in context.
[26] Im2text: Describing images using 1 million captioned photographs.
[31] Conceptual captions: A cleaned, hypernymed, image alt-text dataset for automatic image captioning.
[44] From image descriptions to visual denotations: New similarity metrics for semantic inference over event descriptions.