Publications
JOURNAL (DOMESTIC) JGLUE: 日本語言語理解ベンチマーク
栗原 健太郎 (早稲田大学), 河原 大輔 (早稲田大学), 柴田 知秀
言語処理学会 会誌「自然言語処理」
March 15, 2023
高性能な言語理解モデルを開発するためには、言語理解の能力を様々な観点から評価し分析するためのベンチマークが必要である。英語においては、GLUE (Wang et al. 2018) が先駆けとして構築されており、中国語版の CLUE (Xu et al. 2020) やフランス語版の FLUE (Le et al. 2020) など、各言語におけるベンチマーク構築も進んでいるが、日本語においては GLUE のようなベンチマークは存在せず、日本語自然言語処理において大きな問題となっている。本研究では、一般的な日本語言語理解能力を測ることを目的として、翻訳を介することなく、日本語で一から言語理解ベンチマーク JGLUE を構築する。JGLUEは文章分類、文ペア分類、QA の 3 種類のタスクから構成される。本ベンチマークによって日本語における言語理解研究が活性化することを期待する。