快科技7月29日消息，如今的AI大模型規(guī)模越來越龐大，動輒成百上千億參數(shù)，訓(xùn)練過程不僅需要數(shù)萬甚至十幾萬塊GPU加速卡，出錯的幾率也越來越高。Meta(Facebook)就披露了一份驚人的報告。

Meta在報告中披露，為了訓(xùn)練自己的Llama 3 4050億參數(shù)大模型，使用了包含16384塊NVIDIA H100 80GB GPU的集群，一共花了45天，期間居然出現(xiàn)了419次意外報錯，平均每3個小時就一次，而一半的錯誤都和GPU及其自帶的HBM3內(nèi)存有關(guān)。

要知道，大模型訓(xùn)練的工作量異常龐大，而且需要高度同步，一次錯誤就可能導(dǎo)致整個訓(xùn)練工作必須從頭再來。

報告顯示，為期45天的預(yù)訓(xùn)練階段中，總共出現(xiàn)了466次工作中斷，其中47次是計劃內(nèi)的自動維護(hù)，419次是意外的，且大部分都來自硬件問題，GPU又是最多的，占了其中的58.7％。

具體來說，148次即30.1％的意外中斷來自各種GPU失效(包括NVLink總線)，72次即17.2％來自HBM3內(nèi)存失效——畢竟，700W的功耗太熱了。

還有19次來自GPU SRAM，17次來自GPU處理器，6次來自GPU靜默數(shù)據(jù)錯誤，6次來自GPU散熱和傳感器。

其他錯誤來自軟件bug、網(wǎng)線和網(wǎng)卡等等各個方面。

有趣的是，CPU錯誤只出現(xiàn)了2次。

還好，Llama 3團(tuán)隊非常給力，在這么高的出錯幾率下，依然維持了超過90％的有效訓(xùn)練時間，而且只有三次GPU報錯需要大量人工干預(yù)，其他都被自動化管理糾正了。