Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning

[icoxfog417]

一言でいうと

大規模なモデルの学習に必要なデータが枯渇する可能性を提示した研究。SNSやCommon Crawlなど生のテキストの増加率が6-17%/年、それらを編集したコーパスの増加率が4-5%/年で、前者は20302040年、後者は20232027年頃にモデルの学習に必要な量を満たさなくなると推計している

論文リンク

https://arxiv.org/abs/2211.04325

著者/所属機関

Pablo Villalobos, Jaime Sevilla, Lennart Heim, Tamay Besiroglu, Marius Hobbhahn, Anson Ho

• Epoch
• University of Aberdeen
• MIT Computer Science & Artificial Intelligence Laboratory
• Centre for the Governance of AI
• University of Tübingen

投稿日付(yyyy/MM/dd)

2022/10/26

概要

新規性・差分

手法

結果

コメント