Publications
OTHERS (DOMESTIC) 低ランク近似を介した選択的パラメータ更新による差分プライベート学習
伊藤 竜一 (大阪大学), リュウ センペイ, 髙橋 翼, 佐々木 勇和 (大阪大学), 鬼塚 真 (大阪大学)
第14回データ工学と情報マネジメントに関するフォーラム（第20回日本データベース学会年次大会） (DEIM 2022)
February 27, 2022
パーソナルデータから機械学習モデルを学習する際に，差分プライバシにそった厳密なプライバシを保証する訓練手法が提唱されている．広く知られている DP-SGD という手法では，勾配クリッピングやノイズ付与によってプライバシ保護を行う一方，結果として得られるモデルの有用性は低下してしまう．本稿では，モデルの重み行列を低ランク近似した上でスパース性を導入することで，DP-SGD による差分プライバシと高い有用性を両立した訓練手法を提案する．自然言語処理のベンチマークを利用し，提案手法がプライバシ強度を落とすことなく有用性を改善することを確認した．
Paper :
低ランク近似を介した選択的パラメータ更新による差分プライベート学習
(external link)