Fast Model Editing at Scale

[icoxfog417]

一言でいうと

破壊的忘却なしに事前学習済みモデルの「編集」を行う研究。全結合のシンプルなネットワークで、転移学習した場合の重みを元のパラメータと大きく離れないように編集して適用する。ただ、勾配の次元は大きいためパラメータを直積の形式に分解して計算する。
T5やGPTといった億単位級モデルで効果を確認

論文リンク

https://arxiv.org/abs/2110.11309

著者/所属機関

Eric Mitchell, Charles Lin, Antoine Bosselut, Chelsea Finn, Christopher D. Manning

• Stanford University

投稿日付(yyyy/MM/dd)

2021/10/21

概要

新規性・差分

手法

結果

コメント