摩爾線程GPU千卡集群完成師者AI 70億參數(shù)教育大模型訓(xùn)練測試
快科技6月14日消息,摩爾線程與全學(xué)科教育AI大模型“師者AI”聯(lián)合宣布,雙方已完成大模型訓(xùn)練測試。
師者AI基于摩爾線程夸娥(KUAE)千卡智算集群,完成了其70億參數(shù)大模型的高強(qiáng)度訓(xùn)練測試。
整個訓(xùn)練過程用時一周,訓(xùn)練效率達(dá)到預(yù)期,充分展示了夸娥千卡智算集群作為國產(chǎn)全功能GPU千卡千億訓(xùn)練平臺的能力與優(yōu)勢。
師者AI成立于2020年,核心模型團(tuán)隊來自清華大學(xué),擁有多年技術(shù)研發(fā)和模型算法自研能力,基于智譜AI開源底座打造了專注于全學(xué)科的教育大模型,包括數(shù)學(xué)、物理等19個學(xué)科。
開放內(nèi)測以來,師者AI已經(jīng)擁有超過2.5萬用戶,支持30個以上學(xué)科知識、2000本以上教材。
隨著教育大模型的快速迭代,摩爾線程、師者AI還將在大模型推理上開展適配工作。

摩爾線程夸娥方案是業(yè)內(nèi)首個跑通、跑完國產(chǎn)大模型的千卡集群,基于全功能MTT S4000 GPU,提供軟硬一體化的全棧解決方案,具備模型覆蓋、推理加速、CUDA兼容、斷點續(xù)訓(xùn)、分布式訓(xùn)練、集群可靠性等8大核心能力。
摩爾線程夸娥千卡集群此前已公布的大模型訓(xùn)推相關(guān)成就:
- 第一家接入無問芯穹,適配無穹Infini-AI大模型開發(fā)與服務(wù)平臺、完成LLama2 700億參數(shù)大模型訓(xùn)練測試、完成MT-infini-3B 3B(30億參數(shù))規(guī)模大模型實訓(xùn)
- 羽人科技70億參數(shù)大語言模型YuRen-7b訓(xùn)練測試
- 憨猴集團(tuán)7B、34B、70B不同參數(shù)量級大模型的分布式訓(xùn)練
- 訓(xùn)練、推理適配滴普企業(yè)大模型Deepexi v1.0

本站所有文章、數(shù)據(jù)、圖片均來自互聯(lián)網(wǎng),一切版權(quán)均歸源網(wǎng)站或源作者所有。
如果侵犯了你的權(quán)益請來信告知我們刪除。郵箱:business@qudong.com

