Publications
カンファレンス (国内) 情報検索のための単語分割一貫性の定量的評価
高橋 文彦, 颯々野 学
言語処理学会第22回年次大会 (NLP2016)
2016.3.7
日本語を扱う検索システムでは，インデックスの作成と検索の際に自動単語分割を用いる． インデックス作成では，テキストを単語に分割し単語をそのテキストのインデックスタームとして登録する．検索を実行する際には， 検索クエリを自動単語分割しインデックスに照らし合わせることでテキストを探す．この際に，解析揺れが発生すると検索漏れの問題が起こる．この検索漏れの問題は，正解の単語単位に分割できるかという指標だけでは評価できない．そこで本研究では，情報検索のための単語分割の一貫性を評価する指標を検討し，さらにその指標を用いてトークナイザを評価する実験を行い，その結果を議論する．
PDF : 情報検索のための単語分割一貫性の定量的評価