Masked Autoencoders Are Scalable Vision Learners

[icoxfog417]

一言でいうと

大規模なモデルを3倍高速に学習させる半教師ありの手法。画像からランダムにサンプルしたパッチをEncoderに入力し、Decoderは潜在表現と足りない部分のMaskから元の画像を復元する。ViT-hugeでImageNeT-1kで87.8%を達成。

論文リンク

https://arxiv.org/pdf/2111.06377.pdf

著者/所属機関

Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick

• Facebook AI Research

投稿日付(yyyy/MM/dd)

2021/11/11

概要

新規性・差分

手法

結果

コメント