LINEヤフーの研究開発

カンファレンス (国内) 転移学習における強化学習を用いた効率的なトークナイザとモデルの同時学習

平子 潤 (名古屋大学), 柴田 知秀

言語処理学会第29回年次大会 (NLP2023)

2023.3.15

文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。 本研究では、事前学習を行ってからファインチューニングを行う転移学習において、より計算コストの増加が小さい、効率的なトークナイザの同時学習手法を提案する。 提案手法は、トークナイズ確率を方策、負のモデルロスを報酬とした強化学習によりトークナイザを学習する。 実験の結果、提案手法は既存手法よりも高い性能を達成し、また、計算時間を削減できたことを確認した。

Paper : 転移学習における強化学習を用いた効率的なトークナイザとモデルの同時学習 （外部サイト）