LINEヤフーの研究開発

カンファレンス (国内) 長文脈 LLM によるゼロショット文章ランキングにおけるランキング手法とモデル規模が有効性・効率性に与える影響

沖本 祐典, 中野 佑哉, 官上 大輔

言語処理学会第32回年次大会 (NLP2026)

2026.3.10

長文脈 LLM は，ゼロショット文書ランキングにおいて効率性を大きく改善し得るが，既存のランキングアルゴリズムを長文脈に適用した場合，特に小規模オープンウェイトモデルで有効性が大きく低下することが知られていた．本研究では，長文脈 LLMを用いるランキング手法の違いが有効性・効率性のトレードオフに与える影響と，その影響が小規模なオープンウェイトモデルと大規模な商用モデルで異なるかを検証した．実験として，複数のモデルで 3つのランキングアルゴリズムの有効性と効率性を評価した．その結果，小規模なオープンウェイトモデルでは multi-passage pointwise の方が listwise (full ranking) よりも有効性・効率性でともに上回り，それはランキングアルゴリズムのタスクの難易度に加え出力形式の違いが影響していること，また，大規模な商用モデルでは，listwise (full ranking) が pointwiseより効率性で上回ることがわかった．

Paper : 長文脈 LLM によるゼロショット文章ランキングにおけるランキング手法とモデル規模が有効性・効率性に与える影響 （外部サイト）