Publications
CONFERENCE (DOMESTIC) 転移学習における強化学習を用いた効率的なトークナイザとモデルの同時学習
平子 潤 (名古屋大学), 柴田 知秀
言語処理学会第29回年次大会 (NLP2023)
March 15, 2023
文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。 本研究では、事前学習を行ってからファインチューニングを行う転移学習において、より計算コストの増加が小さい、効率的なトークナイザの同時学習手法を提案する。 提案手法は、トークナイズ確率を方策、負のモデルロスを報酬とした強化学習によりトークナイザを学習する。 実験の結果、提案手法は既存手法よりも高い性能を達成し、また、計算時間を削減できたことを確認した。
Paper :
転移学習における強化学習を用いた効率的なトークナイザとモデルの同時学習
(external link)