Error Compensated Quantized SGD and its Applications to Large-scale Distributed Optimization

[ryoherisson]

一言でいうと

誤差補償型QSGD(ECQ-SGD)の提案と理論分析．

論文リンク

http://proceedings.mlr.press/v80/wu18d/wu18d.pdf

著者/所属機関

Jiaxiang Wu，Weidong Huang，Junzhou Huang，Tong Zhang
(Tencent AI Lab)

投稿日付(yyyy/MM/dd)

2018/01/21

概要

勾配の圧縮を行うと，量子化誤差が発生し，収束が遅くなったり発散することがある．既存手法の1Bit-SGDでは，現在の局所勾配を前回のイテレーションからの量子化誤差で補正してから，量子化関数に投入しており，これにより収束の挙動が改善されたとしているが，理論的な分析はされていない．

そこで，過去の全ての量子化誤差を蓄積して誤差フィードバックを行うECQ-SGDを提案した．

実験的に高速・安定した収束を示し，理論的にもQSGDよりも厳しいケースにおいて誤差境界を収束することを証明．

新規性・差分

• 過去の全ての量子化誤差を蓄積して誤差フィードバックを行う手法を提案
• 理論的に収束を保証

手法

過去の全ての量子化誤差を蓄積した上で圧縮．

結果

コメント