Is Fine-tuning Needed? Pre-trained Language Models Are Near Perfect for Out-of-Domain Detection

[icoxfog417]

一言でいうと

事前学習なしにニュースと感情分析など異なるドメインのデータを検出することができることを示した研究。異なるドメインかどうかはベクトル表現の距離で計算し、モデルは RoBERTa を使用している。金融や医療など、誤りが許されない領域で異なるドメインのデータが推論のパイプラインに入らないようはじく用途を企図している。

論文リンク

https://arxiv.org/abs/2305.13282

著者/所属機関

Rheeya Uppaal, Junjie Hu, Yixuan Li

• Department of Computer Sciences
• Department of Biostatistics and Medical Informatics
• University of Wisconsin-Madison

投稿日付(yyyy/MM/dd)

2023/5/22

概要

新規性・差分

手法

結果

コメント