New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding #4

Open

ryoherisson opened this issue May 12, 2021 · 0 comments

Assignees

Labels

gradient quantization QSGD

Contributor

ryoherisson commented May 12, 2021 •

edited

Loading

一言でいうと

ノード間の勾配の更新の通信を効率化するため，収束性が保証された勾配の圧縮方式を提案．

論文リンク

https://proceedings.neurips.cc/paper/2017/file/6c340f25839e6acdc73414517203f5f0-Paper.pdf

著者/所属機関

Dan Alistarh, Demjan Grubic, Jerry Li, Ryota Tomioka, Milan Vojnovic
(IST Austria, ETH Zurich, Google, MIT, Microsoft, LSE)

投稿日付(yyyy/MM/dd)

2016/08/07

概要

SGDの並列実装に関し，収束性が保証された勾配の圧縮方式を提案し，ノード間通信と収束時間のトレードオフを改善．
ImageNet上でResNet-152ネットワークを全精度で学習する場合に比べて，1.8倍の速度で学習．

新規性・差分

標準的な仮定の下で収束を保証
ハイパーパラメータの調整不要
精度を維持しながら勾配のビット幅を増加

手法

QSGD algorithm

プロセッサで勾配ベクトルが与えられると，元の統計的特性を維持する原理的な方法で，ランダムな丸め方によって各成分を離散的な値のセットに量子化
量子化されたグラデーションの統計的特性を利用して，効率的なロスレスコードを生成

結果

コメント

ryoherisson self-assigned this

nocotan added the QSGD label

nocotan added the gradient quantization label

ryoherisson changed the title ~~[WIP]QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding~~ QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment