Publications

CONFERENCE (DOMESTIC) モデルのトークンエンベディングによる目標画像を生成するためにマージすべきLoRAの検索

杉田 大知 (静岡大学), ファム フーロン (兵庫県立大), 大島 裕明 (兵庫県立大), 藤田 澄男, 莊司 慶行 (静岡大学)

第18回データ工学と情報マネジメントに関するフォーラム(第24回日本データベース学会年次大会) (DEIM 2026)

February 28, 2026

本論文では,目標とする画像と,画像生成時に使用中のLoRA アダプタを入力として与えると,LoRA をマージすべき順にランキングする検索アルゴリズムを提案する.近年の画像生成AI では複数のLoRA を同時に適用する利用形態が一般的であるが,適切なLoRA の組み合わせやマージ対象の選択は,多数の生成例や付随するメタデータを参照しながら人手で判断する必要があった.そこで本手法では,Transformer を用い,2 つのLoRA と画像を入力として,その画像が当該LoRA の組み合わせによって生成されたものであるかを判別する分類モデルを学習する.学習したモデルに対して,目標画像,使用中のLoRA,およびマージ候補となるLoRA を入力すると,マージ後に目標画像を生成できる確率が得られる.この確率でLoRA を順位付けすることで,マージすべきLoRA を検索することが可能となる.実際に,100 種類のLoRA アダプタを対象とした検索システムを実装し,分類精度に基づく自動評価および被験者実験を通じて,提案手法の有効性を示した.

Paper : モデルのトークンエンベディングによる目標画像を生成するためにマージすべきLoRAの検索open into new tab or window (external link)