Multitask Prompted Training Enables Zero-Shot Task Generalization

[icoxfog417]

一言でいうと

教師ありのデータセットを問題文(prompt)/回答文の形式にし、Encoder/Decoder形式の言語モデルで学習した研究。事前学習済み言語モデルの汎化性能が高いのは、様々な文書の記述を学習する=マルチタスク学習をしているからではという着想から来ている。学習後のzero-shotで(APIでない)GPT3より高い性能

論文リンク

https://arxiv.org/abs/2110.08207

著者/所属機関

Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Stella Biderman, Leo Gao, Tali Bers, Thomas Wolf, Alexander M. Rush

• Hugging Face
• Brown University
• BigScience
• KFUPM
• IRISA, IMATAG
• Hyperscience
• I2R, A*STAR
• SAP
• NTU
• UCSD\HF
• SambaNova System
• Walmart Labs
• VU Amsterdam
• BrownUniversity of Virginia
• ASUS
• ZEALS
• NYU
• IBM Research
• UC Berkeley
• Parity
• Inria, France
• BITS Pilani, India
• Sapienza
• Stanford
• CRA
• EleutherAI

投稿日付(yyyy/MM/dd)

2021/10/15

概要

新規性・差分

手法

結果

コメント