玩弄放荡人妇系列av在线网站,日韩黄片,人人妻人人添人人爽,欧美一区,日本一区二区三区在线 |观看,日本免费a级毛一片

您當(dāng)前的位置: 首頁 > 新聞 > 其他

突破大算力瓶頸:華為支持超萬億參數(shù)大模型訓(xùn)練 等效于18000張卡

來源:快科技 編輯:非小米 時間:2023-09-23 15:57人閱讀

快科技9月22日消息,在華為全聯(lián)接大會2023期間,華為正式發(fā)布全新架構(gòu)的昇騰AI計算集群——Atlas 900 SuperCluster,可支持超萬億參數(shù)的大模型訓(xùn)練。

華為常務(wù)董事、ICT基礎(chǔ)設(shè)施業(yè)務(wù)管理委員會主任、企業(yè)BG總裁汪濤介紹,新集群采用全新的華為星河AI智算交換機(jī)CloudEngine XH16800,借助其高密的800GE端口能力,兩層交換網(wǎng)絡(luò)即可實現(xiàn)2250節(jié)點(等效于18000張卡)超大規(guī)模無收斂集群組網(wǎng)。

新集群同時使用了創(chuàng)新的超節(jié)點架構(gòu),大大提升了大模型訓(xùn)練能力。

此外,發(fā)揮華為在計算、網(wǎng)絡(luò)、存儲、能源等領(lǐng)域的綜合優(yōu)勢,從器件級、節(jié)點級、集群級和業(yè)務(wù)級全面提升系統(tǒng)可靠性,將大模型訓(xùn)練穩(wěn)定性從天級提升到月級。

為了加速大模型創(chuàng)新,華為發(fā)布了更開放、更易用的CANN7.0,不僅全面兼容業(yè)界的AI框架、加速庫和主流大模型,還深度開放底層能力,讓AI框架和加速庫可以更直接地調(diào)用和管理計算資源,使能開發(fā)者自定義高性能算子。

汪濤表示,隨著人工智能進(jìn)入大模型時代,大算力正在成為人工智能發(fā)展的核心引擎。華為改變傳統(tǒng)的服務(wù)器堆疊模式,以系統(tǒng)架構(gòu)創(chuàng)新打造AI集群,實現(xiàn)算力、運力、存力的一體化設(shè)計,突破大算力瓶頸。

突破大算力瓶頸:華為支持超萬億參數(shù)大模型訓(xùn)練 等效于18000張卡

突破大算力瓶頸:華為支持超萬億參數(shù)大模型訓(xùn)練 等效于18000張卡

突破大算力瓶頸:華為支持超萬億參數(shù)大模型訓(xùn)練 等效于18000張卡

突破大算力瓶頸:華為支持超萬億參數(shù)大模型訓(xùn)練 等效于18000張卡

突破大算力瓶頸:華為支持超萬億參數(shù)大模型訓(xùn)練 等效于18000張卡

突破大算力瓶頸:華為支持超萬億參數(shù)大模型訓(xùn)練 等效于18000張卡

本站所有文章、數(shù)據(jù)、圖片均來自互聯(lián)網(wǎng),一切版權(quán)均歸源網(wǎng)站或源作者所有。

如果侵犯了你的權(quán)益請來信告知我們刪除。郵箱:business@qudong.com

標(biāo)簽: 大模型 華為

相關(guān)文章