LINEヤフーの研究開発

カンファレンス (国内) 日本語の大規模な基盤モデルに対する LoRA チューニング

王 昊 (早稲田大学), 中町 礼文, 佐藤 敏紀

2023.3.13

本研究では, 日本語の大規模基盤モデルを用いて, テキスト分類・生成タスクにおける LoRA チューニ ングを検証した. 具体的には, XLSum (要約), JNLI (含意関係認識), JCommonsenseQA (常識推論) の三つのタスクにて, LoRA チューニングとファインチューニングを行い, チューニングしたモデルの精度や必要なパラメータ数や学習時間などの比較を行った. 比較実験により, ファインチューニングと比較して, LoRA チューニングは計算時間やメモリ使用量を大幅に低減でき, 推論の精度がファインチューニングと同等以上であることを確認した.

Paper : 日本語の大規模な基盤モデルに対する LoRA チューニング （外部サイト）