Publications
WORKSHOP (DOMESTIC) 相対的に固有な変換特徴の言語化による自然言語クエリからの画風変換LoRAモデル検索
金田 悠路 (静岡大学), 杉田 大知 (静岡大学), 大江 優真 (静岡大学), ファム フーロン (筑波大学), 加藤 誠 (筑波大学), 大島 裕明 (兵庫県立大学), 藤田 澄男, 莊司 慶行 (静岡大学)
WebDB夏のワークショップ2026 情報処理学会 第183回 データベースとデータサイエンス研究会 (SIG-DBS) 情報処理学会 第164回 情報基礎とアクセス技術研究会 (SIG-IFAT) 電子情報通信学会 データ工学研究会 (DE) 合同研究会 (WebDB Workshop 2026)
September 08, 2026
本研究では，自然言語で表された画風変換要望をクエリとして，その変換を実現できる可能性の高 いLoRA モデルを検索する手法を提案する．既存のLoRA 検索はモデル名，タグ，説明文などのメタデー タに依存することが多く，ユーザが求める視覚的な変換特徴に基づいてLoRA を直接検索することは困難 である．提案手法では，変換要望テキストとLoRA 内部ウェイトをTwo-Tower 型のエンコーダによって 共通埋め込み空間へ写像し，両者の類似度に基づいてLoRA をランキングする．この対応関係を学習する ためには，LoRA の変換能力を表すテキストと内部ウェイトのペアが必要となる．そこで，対象LoRA と 他のLoRA による変換結果をVLM で比較し，複数の元画像から得られた観測をLLM で集約することで， LoRA 固有の変換特徴を言語化し，複数形式の検索クエリへ展開する．生成した検索クエリとLoRA 内部 ウェイトを双方向のMulti-Positive 対照学習によって対応付け，共通埋め込み空間を構築する．これらを 同一のLoRA に対応する複数の検索クエリを正例として扱う双方向の対照学習により，対応するテキスト とLoRA を近づけ，非対応の組を遠ざける共通埋め込み空間を構築する．WikiArt から構築した800 件の LoRA を用い，変換特徴テキストの品質，正解LoRA の検索精度，およびVLM と被験者による検索結果 の適合性を評価した結果，提案する言語化パイプラインが識別性と多様性を備えた学習用テキストを生成 し，既存手法を上回るLoRA 検索性能を実現することを確認した．
Paper :
相対的に固有な変換特徴の言語化による自然言語クエリからの画風変換LoRAモデル検索
(external link)