Publications
CONFERENCE (DOMESTIC) 日本語の大規模な基盤モデルに対する LoRA チューニング
王 昊 (早稲田大学), 中町 礼文, 佐藤 敏紀
March 13, 2023
本研究では, 日本語の大規模基盤モデルを用いて, テキスト分類・生成タスクにおける LoRA チューニ ングを検証した. 具体的には, XLSum (要約), JNLI (含意関係認識), JCommonsenseQA (常識推論) の三つのタスクにて, LoRA チューニングとファインチューニングを行い, チューニングしたモデルの精度や必要なパラメータ数や学習時間などの比較を行った. 比較実験により, ファインチューニングと比較して, LoRA チューニングは計算時間やメモリ使用量を大幅に低減でき, 推論の精度がファインチューニングと同等以上であることを確認した.
Paper :
日本語の大規模な基盤モデルに対する LoRA チューニング
(external link)