LINEヤフーの研究開発

その他 (国内) 日本語有害表現スキーマの提案と評価

小林 滉河, 山崎 天, 吉川 克正, 牧田 光晴, 中町 礼文, 佐藤 京也 (LINE/東京都立大学), 浅原 正幸 (国立国語研究所), 佐藤 敏紀

言語処理学会第29回年次大会 (NLP 2023)

2023.3.13

本研究では、言語モデルや人が生成した有害表現の検知を目的としたラベリングスキーマを考案し、日本語有害表現データセットの構築と評価に取り組んだ。まず、提案したスキーマを用いてデータセットを構築し、アノテーションに関する定量的な分析を行った。次に、構築したデータセットを利用して有害表現検知器を作成した。作成した有害表現検知器は既存の有害表現検知システムに比べ、少ないデータ数で同等の性能を達成し、様々な種類の有害表現を捉えられる可能性を示した。また、対話システムが生成した応答に対して、有害表現検知器を適用したところ、有害な発話を高精度で検知できることを確認した。

Paper : 日本語有害表現スキーマの提案と評価 （外部サイト）