螞蟻集團(tuán)回應(yīng)新模型訓(xùn)練成本降低：基于不同芯片持續(xù)調(diào)優(yōu)，會(huì)逐步開(kāi)源快訊
大模型訓(xùn)練成本有關(guān)消息，其 3000 億參數(shù)的 MoE 大模型可在使用國(guó)產(chǎn) GPU 的低性能設(shè)備上完成高效訓(xùn)練，百靈輕量版參數(shù)規(guī)模為 168 億（激活參數(shù) 27.5 億）。
3 月 24 日消息，據(jù)新浪科技報(bào)道，針對(duì)有關(guān)螞蟻“百靈”大模型訓(xùn)練成本有關(guān)消息，螞蟻集團(tuán)回應(yīng)稱，公司針對(duì)不同芯片持續(xù)調(diào)優(yōu)，以降低 AI 應(yīng)用成本，目前已經(jīng)取得一定進(jìn)展，也將逐步通過(guò)開(kāi)源分享。
附事件背景：
近日，螞蟻集團(tuán) Ling 團(tuán)隊(duì)在預(yù)印版 Arxiv 平臺(tái)發(fā)表技術(shù)成果論文《每一個(gè) FLOP 都至關(guān)重要：無(wú)需高級(jí) GPU 即可擴(kuò)展 3000 億參數(shù)混合專家 LING 大模型》，宣布推出兩款不同規(guī)模的 MoE （混合專家）大語(yǔ)言模型 —— 百靈輕量版（Ling-Lite）與百靈增強(qiáng)版（Ling-Plus），并提出一系列創(chuàng)新方法，實(shí)現(xiàn)在低性能硬件上高效訓(xùn)練大模型，顯著降低成本。
百靈輕量版參數(shù)規(guī)模為 168 億（激活參數(shù) 27.5 億），增強(qiáng)版基座模型參數(shù)規(guī)模高達(dá) 2900 億（激活參數(shù) 288 億），性能均達(dá)行業(yè)領(lǐng)先水平。實(shí)驗(yàn)表明，其 3000 億參數(shù)的 MoE 大模型可在使用國(guó)產(chǎn) GPU 的低性能設(shè)備上完成高效訓(xùn)練，性能與完全使用英偉達(dá)芯片、同規(guī)模的稠密模型及 MoE 模型相當(dāng)。（清源）
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會(huì)明確標(biāo)注作者和來(lái)源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請(qǐng)轉(zhuǎn)載時(shí)務(wù)必注明文章作者和"來(lái)源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會(huì)經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
