LINEヤフーの研究開発

その他 (国内) 連合学習におけるローカル差分プライバシーメカニズムのハイパーパラメータ調整に関する一考察

前田 若菜, 長谷川 聡, 髙橋 翼

第15回データ工学と情報マネジメントに関するフォーラム（第21回日本データベース学会年次大会） (DEIM 2023)

2023.3.5

ローカル差分プライバシー (LDP) を満たす連合学習では，モデルの更新情報に対してノイズを加算するメカニズム (LDP メカニズム) を各クライアントに導入する．このとき，LDP メカニズムでは，モデルの更新情報のノルムをある定数以下に制限した上で，この定数 (クリップサイズ) を考慮したノイズの加算が求められる．クリップサイズの設定が不適切な場合，ノイズによって学習が発散する，または学習の進行が阻害される，等の不都合が生じることが知られている．本研究では，LDP 下での連合学習を効率よく進行することを目的として，クリップサイズの設定方法や，適応的に変更していく方法に関して，いくつかの実験的な取り組みについて報告する．

Paper : 連合学習におけるローカル差分プライバシーメカニズムのハイパーパラメータ調整に関する一考察 （外部サイト）