讓大規(guī)模深度學(xué)習(xí)訓(xùn)練線性加速、性能無損，基于BMUF的Adam優(yōu)化器并行化實(shí)踐

作為一種自適應(yīng)步長隨機(jī)梯度優(yōu)化器，自2014年提出以來，Adam 算法便以其卓越的性能風(fēng)靡深度學(xué)習(xí)領(lǐng)域。為了提高應(yīng)用于訓(xùn)練大規(guī)模任務(wù)時的效率，該算法通常與同步隨機(jī)梯度（Synchronous Stochastic Gradient，SSG）技術(shù)相結(jié)合，采用數(shù)據(jù)并行（data parallel）的方式在多臺機(jī)器上執(zhí)行。在本文中，我們稱這一方法為 Sync-Adam。

本質(zhì)上來講，Sync-Adam 通過將一個 minibatch 內(nèi)樣本的梯度計(jì)算分布到多臺機(jī)器上達(dá)到加速目的，因此通信十分頻繁，并且隨著并行機(jī)器數(shù)目增多，minibatch 內(nèi)樣本的數(shù)量也成比例增加，這種情況下，通常會損害最終得到的模型的性能。為解決基于 SSG 的 Adam 算法可擴(kuò)展性差的難題，我們把目光投向了逐區(qū)塊模型更新濾波（Blockwise Model-Update Filtering, BMUF）框架。

BMUF 是一種通信高效的通用分布式優(yōu)化算法框架，于2016年由微軟亞洲研究院語音組的研究人員提出并發(fā)表。該算法在多個并行工作機(jī)之間周期性同步模型更新信息，并與歷史更新信息相結(jié)合提升全局模型性能。與基于 SSG 的算法相比，BMUF 具有通信頻率較低、訓(xùn)練幾乎線性加速、模型性能基本無損的特點(diǎn)。這一算法已經(jīng)在工業(yè)界廣泛用于大規(guī)模深度學(xué)習(xí)模型的訓(xùn)練。

本文中，我們采用 BMUF 框架并行化 Adam 算法，并在微軟大規(guī)模 OCR 和語音產(chǎn)品數(shù)據(jù)集上進(jìn)行了測試。實(shí)驗(yàn)結(jié)果表明，在大規(guī)模 OCR 任務(wù)中，BMUF-Adam 在多達(dá)64機(jī)的并行訓(xùn)練中幾乎實(shí)現(xiàn)了線性加速的同時，基本沒有模型性能損失，在32機(jī)大詞匯量連續(xù)語音識別任務(wù)中也獲得了類似效果。

接下來我們探討如何采用 BMUF 框架賦能 Adam 算法，在大規(guī)模深度學(xué)習(xí)任務(wù)上成就不凡。

在基于 BMUF 的訓(xùn)練框架下，假設(shè)我們總共有 N 個并行工作機(jī)，一個工作機(jī)可以是一塊或多塊 GPU 卡，也可以是一個計(jì)算節(jié)點(diǎn)。給定一個包含 Nτ 個 minibatch 的訓(xùn)練數(shù)據(jù)子集，首先我們將這些數(shù)據(jù)均勻分布到 N 個并行工作機(jī)，每臺工作機(jī)獲得 τ 個 minibatch。從一個共同的初始模型 θ_(t-τ)^((init)) 開始，N 個工作機(jī)獨(dú)立更新各自的局部模型 τ 步，得到 {θ_(t,1),θ_(t,2),…,θ_(t,N)}，對局部模型取平均得到 θ ̅_t。這一過程稱之為數(shù)據(jù)塊內(nèi)并行優(yōu)化（Intra-Block Parallel Optimization, IBPO）。與直接將 θ ̅_t 作為全局模型不同，BMUF 技術(shù)將歷史更新信息與當(dāng)前更新信息結(jié)合，得到全局模型：