首頁
產(chǎn)品系列
行業(yè)應(yīng)用
渠道合作
新聞中心
研究院
投資者關(guān)系
技術(shù)支持
關(guān)于創(chuàng)澤
| En
 
  當(dāng)前位置:首頁 > 新聞資訊 > 機(jī)器人開發(fā) > 讓大規(guī)模深度學(xué)習(xí)訓(xùn)練線性加速、性能無損,基于BMUF的Adam優(yōu)化器并行化實(shí)踐  
 

讓大規(guī)模深度學(xué)習(xí)訓(xùn)練線性加速、性能無損,基于BMUF的Adam優(yōu)化器并行化實(shí)踐

來源:AI科技大本營(yíng)      編輯:創(chuàng)澤      時(shí)間:2020/5/29      主題:其他   [加盟]

作為一種自適應(yīng)步長(zhǎng)隨機(jī)梯度優(yōu)化器,自2014年提出以來,Adam 算法便以其卓越的性能風(fēng)靡深度學(xué)習(xí)領(lǐng)域。為了提高應(yīng)用于訓(xùn)練大規(guī)模任務(wù)時(shí)的效率,該算法通常與同步隨機(jī)梯度(Synchronous Stochastic Gradient,SSG)技術(shù)相結(jié)合,采用數(shù)據(jù)并行(data parallel)的方式在多臺(tái)機(jī)器上執(zhí)行。在本文中,我們稱這一方法為 Sync-Adam。

本質(zhì)上來講,Sync-Adam 通過將一個(gè) minibatch 內(nèi)樣本的梯度計(jì)算分布到多臺(tái)機(jī)器上達(dá)到加速目的,因此通信十分頻繁,并且隨著并行機(jī)器數(shù)目增多,minibatch 內(nèi)樣本的數(shù)量也成比例增加,這種情況下,通常會(huì)損害最終得到的模型的性能。為解決基于 SSG 的 Adam 算法可擴(kuò)展性差的難題,我們把目光投向了逐區(qū)塊模型更新濾波(Blockwise Model-Update Filtering, BMUF)框架。

BMUF 是一種通信高效的通用分布式優(yōu)化算法框架,于2016年由微軟亞洲研究院語音組的研究人員提出并發(fā)表。該算法在多個(gè)并行工作機(jī)之間周期性同步模型更新信息,并與歷史更新信息相結(jié)合提升全局模型性能。與基于 SSG 的算法相比,BMUF 具有通信頻率較低、訓(xùn)練幾乎線性加速、模型性能基本無損的特點(diǎn)。這一算法已經(jīng)在工業(yè)界廣泛用于大規(guī)模深度學(xué)習(xí)模型的訓(xùn)練。

本文中,我們采用 BMUF 框架并行化 Adam 算法,并在微軟大規(guī)模 OCR 和語音產(chǎn)品數(shù)據(jù)集上進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明,在大規(guī)模 OCR 任務(wù)中,BMUF-Adam 在多達(dá)64機(jī)的并行訓(xùn)練中幾乎實(shí)現(xiàn)了線性加速的同時(shí),基本沒有模型性能損失,在32機(jī)大詞匯量連續(xù)語音識(shí)別任務(wù)中也獲得了類似效果。

接下來我們探討如何采用 BMUF 框架賦能 Adam 算法,在大規(guī)模深度學(xué)習(xí)任務(wù)上成就不凡。


在基于 BMUF 的訓(xùn)練框架下,假設(shè)我們總共有 N 個(gè)并行工作機(jī),一個(gè)工作機(jī)可以是一塊或多塊 GPU 卡,也可以是一個(gè)計(jì)算節(jié)點(diǎn)。給定一個(gè)包含 Nτ 個(gè) minibatch 的訓(xùn)練數(shù)據(jù)子集,首先我們將這些數(shù)據(jù)均勻分布到 N 個(gè)并行工作機(jī),每臺(tái)工作機(jī)獲得 τ 個(gè) minibatch。從一個(gè)共同的初始模型 θ_(t-τ)^((init)) 開始,N 個(gè)工作機(jī)獨(dú)立更新各自的局部模型 τ 步,得到 {θ_(t,1),θ_(t,2),…,θ_(t,N)},對(duì)局部模型取平均得到 θ ̅_t。這一過程稱之為數(shù)據(jù)塊內(nèi)并行優(yōu)化(Intra-Block Parallel Optimization, IBPO)。與直接將 θ ̅_t 作為全局模型不同,BMUF 技術(shù)將歷史更新信息與當(dāng)前更新信息結(jié)合,得到全局模型:






音樂人工智能、計(jì)算機(jī)聽覺及音樂科技

音樂科技、音樂人工智能與計(jì)算機(jī)聽覺以數(shù)字音樂和聲音為研究對(duì)象,是聲學(xué)、心理學(xué)、信號(hào)處理、人工智能、多媒體、音樂學(xué)及各行業(yè)領(lǐng)域知識(shí)相結(jié)合的重要交叉學(xué)科,具有重要的學(xué)術(shù)研究和產(chǎn)業(yè)開發(fā)價(jià)值

【深度】未來5-10年計(jì)算機(jī)視覺發(fā)展趨勢(shì)為何?

專家(查紅彬,陳熙霖,盧湖川,劉燁斌,章國鋒)從計(jì)算機(jī)視覺發(fā)展歷程、現(xiàn)有研究局限性、未來研究方向以及視覺研究范式等多方面展開了深入的探討

華南理工大學(xué)羅晶博士和楊辰光教授團(tuán)隊(duì)發(fā)文提出遙操作機(jī)器人交互感知與學(xué)習(xí)算法

羅晶博士和楊辰光教授團(tuán)隊(duì)提出,遙操作機(jī)器人系統(tǒng)可以自然地與外界環(huán)境進(jìn)行交互、編碼人機(jī)協(xié)作任務(wù)和生成任務(wù)模型,從而提升系統(tǒng)的類人化操作行為和智能化程度

實(shí)時(shí)識(shí)別卡扣成功裝配的機(jī)器學(xué)習(xí)框架

卡扣式裝配廣泛應(yīng)用于多種產(chǎn)品類型的制造中,卡扣裝配是結(jié)構(gòu)性的鎖定機(jī)制,通過一個(gè)機(jī)器學(xué)習(xí)框架將人類識(shí)別成功快速裝配的能力遷移到自主機(jī)器人裝配上。

基于多任務(wù)學(xué)習(xí)和負(fù)反饋的深度召回模型

基于行為序列的深度學(xué)習(xí)推薦模型搭配高性能的近似檢索算法可以實(shí)現(xiàn)既準(zhǔn)又快的召回性能,如何利用這些豐富的反饋信息改進(jìn)召回模型的性能

張帆博士與Yiannis Demiris教授團(tuán)隊(duì)提出高效的機(jī)器人學(xué)習(xí)抓取衣服方法

機(jī)器人輔助穿衣通常人工的將衣服附在機(jī)器人末端執(zhí)行器上,忽略機(jī)器人識(shí)別衣服抓取點(diǎn)并進(jìn)行抓取的過程,從而將問題簡(jiǎn)化

百度算法大牛35頁P(yáng)PT講解基于EasyDL訓(xùn)練并部署企業(yè)級(jí)高精度AI模型

百度AI開發(fā)平臺(tái)高級(jí)研發(fā)工程師餅干老師,為大家系統(tǒng)講解企業(yè)在AI模型開發(fā)中的難點(diǎn),以及針對(duì)這些難點(diǎn),百度EasyDL專業(yè)版又是如何解決的

Technica公司發(fā)布智能霧計(jì)算平臺(tái)技術(shù)白皮書

SmartFog可以輕松地將人工智能分析微服務(wù)部署到云、霧和物聯(lián)網(wǎng)設(shè)備上,其架構(gòu)支持與現(xiàn)有系統(tǒng)的靈活集成,提供了大量的實(shí)現(xiàn)方案,要用下一代人工智能算法來彌補(bǔ)現(xiàn)有解決方案的不足。

深度學(xué)習(xí)在術(shù)前手術(shù)規(guī)劃中的應(yīng)用

深度學(xué)習(xí)對(duì)推動(dòng)術(shù)前手術(shù)規(guī)劃尤其重要,手術(shù)規(guī)劃中要根據(jù)現(xiàn)有的醫(yī)療記錄來計(jì)劃手術(shù)程序,而成像對(duì)于手術(shù)的成功至關(guān)重要
 
資料獲取
新聞資訊
== 資訊 ==
» 人形機(jī)器人未來3-5年能夠?qū)崿F(xiàn)產(chǎn)業(yè)化的方
» 導(dǎo)診服務(wù)機(jī)器人上崗門診大廳 助力醫(yī)院智慧
» 山東省青島市政府辦公廳發(fā)布《數(shù)字青島20
» 關(guān)于印發(fā)《青海省支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展政策措
» 全屋無主燈智能化規(guī)范
» 微波雷達(dá)傳感技術(shù)室內(nèi)照明應(yīng)用規(guī)范
» 人工智能研發(fā)運(yùn)營(yíng)體系(ML0ps)實(shí)踐指
» 四驅(qū)四轉(zhuǎn)移動(dòng)機(jī)器人運(yùn)動(dòng)模型及應(yīng)用分析
» 國內(nèi)細(xì)分賽道企業(yè)在 AIGC 各應(yīng)用場(chǎng)景
» 國內(nèi)科技大廠布局生成式 AI,未來有望借
» AIGC領(lǐng)域相關(guān)初創(chuàng)公司及業(yè)務(wù)場(chǎng)景梳理
» ChatGPT 以 GPT+RLHF 模
» AIGC提升文字 圖片滲透率,視頻 直播
» AI商業(yè)化空間前景廣闊應(yīng)用場(chǎng)景豐富
» AI 內(nèi)容創(chuàng)作成本大幅降低且耗時(shí)更短 優(yōu)
 
== 機(jī)器人推薦 ==
 
迎賓講解服務(wù)機(jī)器人

服務(wù)機(jī)器人(迎賓、講解、導(dǎo)診...)

智能消毒機(jī)器人

智能消毒機(jī)器人

機(jī)器人底盤

機(jī)器人底盤

 

商用機(jī)器人  Disinfection Robot   展廳機(jī)器人  智能垃圾站  輪式機(jī)器人底盤  迎賓機(jī)器人  移動(dòng)機(jī)器人底盤  講解機(jī)器人  紫外線消毒機(jī)器人  大屏機(jī)器人  霧化消毒機(jī)器人  服務(wù)機(jī)器人底盤  智能送餐機(jī)器人  霧化消毒機(jī)  機(jī)器人OEM代工廠  消毒機(jī)器人排名  智能配送機(jī)器人  圖書館機(jī)器人  導(dǎo)引機(jī)器人  移動(dòng)消毒機(jī)器人  導(dǎo)診機(jī)器人  迎賓接待機(jī)器人  前臺(tái)機(jī)器人  導(dǎo)覽機(jī)器人  酒店送物機(jī)器人  云跡科技潤(rùn)機(jī)器人  云跡酒店機(jī)器人  智能導(dǎo)診機(jī)器人 
版權(quán)所有 © 創(chuàng)澤智能機(jī)器人集團(tuán)股份有限公司     中國運(yùn)營(yíng)中心:北京·清華科技園九號(hào)樓5層     中國生產(chǎn)中心:山東日照太原路71號(hào)
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728