Publications
OTHERS (DOMESTIC) LLMによるシーン中の物体の形容記述を用いた景観画像の印象予測
井手 海翔 (東京科学大学), 安納 爽響 (東京科学大学), 坪内 孝太, 下坂 正倫 (東京科学大学)
情報処理学会ユビキタスコンピューティングシステム研究会 (IPSJ SIGUBI)
November 11, 2024
近年，都市景観画像に対して，人々が抱く印象を数値評価することが，都市開発や土地ブランディ ングに役立つとされ，コンピュータビジョンの応用として議論が進んでいる．既存研究では，景観画像の シーン全体をひとつの物体と仮定する，物体認識ベースの数値予測から，シーン内の個々の物体を検出し， その画像特徴から数値を予測する手法への期待が高まっている．一方，物体検出に特化した画像特徴は， 景観の印象評価に直接関連性があるとは言いがたい．本研究では，景観画像のシーン中の物体検出に加え， 検出物体の形容に関する記述を積極的に活用し，印象予測精度向上を図る．その際，印象評価に有効な形 容記述の模索の効率化のため，大規模言語モデル(Large Language Model; LLM) を活用する．クラウド ソーシングで得た印象評価データセットを用いて，物体の画像特徴に着目した既存手法と提案手法の予測 性能を比較することで，提案手法の有用性を示す．
Paper :
LLMによるシーン中の物体の形容記述を用いた景観画像の印象予測
(external link)