Do Transformer Modifications Transfer Across Implementations and Applications?

[icoxfog417]

一言でいうと

Transformerに対する変更がどれだけNLPタスクの精度向上に貢献するか調査した研究。活性関数、レイヤ正規化、深さ、エンコーディング(factorizationなど)、レイヤ間パラメーター共有、Softmax、Transformerの構造に対する各種変更について、タスク、ハイパーパラメーター、最適化アルゴリズム、パラメーター数、1秒あたりFLOPを共通化して検証している。結果として、精度の改善がみられるのは活性化関数や正規化などの細かい変更、パラメーター数や計算量を増やした場合であった。ハイパーパラメーターチューニングがあまり効果がなかったとも言及されている。

論文リンク

https://arxiv.org/abs/2102.11972

著者/所属機関

Sharan Narang, Hyung Won Chung, Yi Tay, William Fedus, Thibault Fevry, Michael Matena, Karishma Malkan, Noah Fiedel, Noam Shazeer, Zhenzhong Lan, Yanqi Zhou, Wei Li, Nan Ding, Jake Marcus, Adam Roberts, Colin Raffel

• Google

投稿日付(yyyy/MM/dd)

2021/2/23

概要

新規性・差分

手法

結果

コメント

[icoxfog417]

スライド資料
https://speakerdeck.com/yushiku/20220608_ssii_transformer?slide=63