Publications
CONFERENCE (DOMESTIC) アドホック検索におけるモデルマージによる破滅的忘却の抑制
谷口 壮平 (兵庫県立大), 佐々木 泰河 (兵庫県立大), 山本 岳洋 (兵庫県立大), 大島 裕明 (兵庫県立大), 藤田 澄男
第18回データ工学と情報マネジメントに関するフォーラム（第24回日本データベース学会年次大会） (DEIM 2026)
February 28, 2026
本研究では，アドホック検索タスクにおけるモデルマージ用いた破滅的忘却の抑制効果を検証する．モデルマージは，複数の学習済みモデルのパラメータを統合し，追加の訓練コストを抑えながら各モデルの利点を兼ね備えた新しいモデルを構築する技術である．我々は，追加学習で生じる破滅的忘却という課題をモデルマージによって抑制することで，既存の検索能力を保持したまま追加学習が実現できると考えた．そこで本研究では，まず汎用的な埋め込みモデル（ベースモデル）と，それを代表的なアドホック検索データセットでファインチューニングしたドメイン特化モデルを構築し，両者をモデルマージしたマージモデルとの性能を比較検証した．nDCG@10 による評価の結果，ドメイン特化モデルではて多くの学習対象外ドメインで破滅的忘却が観測されたが，マージモデルではこの低下したすべてのドメインでnDCG@10 スコアが回復した．さらに，一部のドメインではマージモデルが学習対象ドメイン自体の性能も向上させ，モデルマージがアドホック検索タスクにおける破滅的忘却の抑制に有効な手段であることを実証した．
Paper :
アドホック検索におけるモデルマージによる破滅的忘却の抑制
(external link)