Cold-Start Data Selection for Few-shot Language Model Fine-tuning: A Prompt-Based Uncertainty Propagation Approach

[icoxfog417]

一言でいうと

良質なデータを収集することで少量で高い転移学習性能を獲得する試み。事前学習済みモデルにプロンプトを与えデータの疑似ラベルを予測し、予測分布が一様で不確実性が高いデータを学習効果が高いとみなす。ベクトル空間上の距離をもとに周辺データも不確実性が高く、かつ採用するデータ間の距離が近すぎないよう調整し選択する。128 ラベルデータでフル学習の 90% 超の精度を達成。

論文リンク

https://arxiv.org/abs/2209.06995

著者/所属機関

Yue Yu, Rongzhi Zhang, Ran Xu, Jieyu Zhang, Jiaming Shen, Chao Zhang

• Georgia Institute of Technology
• Emory University
• University of Washington
• Google

投稿日付(yyyy/MM/dd)

2022/9/15

概要

新規性・差分

手法

結果

コメント

[icoxfog417]

実装
https://github.com/yueyu1030/Patron