Human Feedback is not Gold Standard

[icoxfog417]

一言でいうと

LLM の出力を評価する際、人手の評価はそれほど信頼できないという研究。出力のエラータイプの評価と全体的な評価をそれぞれ別々に行ったところ、事実性や矛盾性が評価に与える影響が少ないことを発見。また、自信あるように書かれていると事実性の評価が揺らぐことを指摘

論文リンク

https://arxiv.org/abs/2309.16349

著者/所属機関

Tom Hosking, Phil Blunsom, Max Bartolo

• University of Edinburgh
• Cohere

投稿日付(yyyy/MM/dd)

2023/9/28

概要

新規性・差分

手法

結果

コメント