Sparsified SGD with Memory

[nocotan]

一言でいうと

エラー補正項を含むgradient sparsificationの収束性についての理論を導出．

論文リンク

https://papers.nips.cc/paper/2018/hash/b440509a0106086a67bc2ea9df0a1dab-Abstract.html

著者/所属機関

Sebastian U. Stich, Jean-Baptiste Cordonnier, Martin Jaggi
Machine Learning and Optimization Laboratory (MLO), EPFL, Switzerland

投稿日付(yyyy/MM/dd)

NeurIPS2018

概要

理論展開のために以下のk-contraction propertyが満足されることを仮定する：

この仮定のもとでエラー補正項を含むgradient sparcificationの収束レートがオリジナルのSGDに匹敵することを証明．

新規性・差分

• 勾配圧縮のエラー補正の情報を含むMEM-SGDの収束性についての理論保証を行った．

手法

SGD with Memory

エラー補正項mを考慮した以下の最適化アルゴリズムを考える：

このアルゴリズムの収束性について以下の定理が得られる：

オーダー比較から，収束レートにおいて支配的な項がVanillaのSGDと一致する．

結果

コメント