PolyViT: Co-training Vision Transformers on Images, Videos and Audio

[icoxfog417]

一言でいうと

画像、動画、音声をまとめて学習するTransformerの提案。2D画像をバッチに分割し重みをかけて固定長ベクトルにする考えを基本とし、動画も重複のないパーツに区切って同様に処理、音声はスペクトログラムを画像として処理している。動画/音声の分類でSOTAを達成。

論文リンク

https://arxiv.org/abs/2111.12993

著者/所属機関

Valerii Likhosherstov, Anurag Arnab, Krzysztof Choromanski, Mario Lucic, Yi Tay, Adrian Weller, Mostafa Dehghani

• Google Research
• University of Cambridge
• Alan Turing Institute

投稿日付(yyyy/MM/dd)

2021/11/25

概要

新規性・差分

手法

結果

コメント