Publications
CONFERENCE (DOMESTIC) Semi-supervised Sentiment Classification with Dialog Data
清水 徹, 小林 隼人, 清水 伸幸
2018年度 人工知能学会全国大会(第32回) (JSAI2018)
June 08, 2018
深層学習ベースの分類器をトレーニングするにあたり、言語モデルなどによる事前学習が有効なことはすでに知られている。本研究では 事前学習なし・言語モデルにより事前学習・対話コーパスでの事前学習などのパターンを、深層学習を用いないベースラインと合わせて比較。対話コーパスで事前学習を行うことで 他の手段の場合に比べて さらに大きく性能を向上させることができることを示した。
The huge cost of creating labeled training data is a common problem for supervised learning tasks such as sentiment classification. Recent studies showed that pretraining with unlabeled data via a language model can improve the performance of classification models. In this paper, we take the concept a step further by using a conditional language model, instead of a language model. Specifically, we address a sentiment classification task for a tweet analysis service as a case study and propose a pretraining strategy with unlabeled dialog data (tweet-reply pairs) via an encoder-decoder model. Experimental results show that our strategy can improve the performance of sentiment classifiers and outperform several state-of-the-art strategies including language model pretraining.
Paper :
Semi-supervised Sentiment Classification with Dialog Data
(external link)