Fine-tuning Happens in Tiny Subspaces: Exploring Intrinsic Task-specific Subspaces of Pre-trained Language Models

[icoxfog417]

一言でいうと

大規模言語モデルの転移学習がモデル内のサブ空間で行われている可能性を示唆した研究。モデルの重みをエポックごと保存し、Flatten したうえで時系列にスタックし SVD をかけることで Fine Tuning 中のパラメーター変動をよく説明する軸を発見。この軸上で異常値を示すパラメーターを無効化すると性能が著しく下がることを確認。

論文リンク

https://arxiv.org/abs/2305.17446

著者/所属機関

Zhong Zhang, Bang Liu, Junming Shao

• University of Electronic Science and Technology of China
• Shenzhen Institute for Advanced Study
• Mila & Université de Montréal

投稿日付(yyyy/MM/dd)

2023/5/27

概要

新規性・差分

手法

結果

コメント