快科技10月30日消息，今天，昆侖萬(wàn)維官方宣布，開(kāi)源百億級(jí)大語(yǔ)言模型“天工”Skywork-13B系列，并罕見(jiàn)地配套開(kāi)源了600GB、150B Tokens的超大高質(zhì)量開(kāi)源中文數(shù)據(jù)集。

根據(jù)官方介紹，昆侖萬(wàn)維“天工”Skywork-13B系列包括Skywork-13B-Base、Skywork-13B-Math兩大模型及150B Tokens高質(zhì)量中文數(shù)據(jù)集。

其中Skywork-13B-Base模型是Skywork-13B的基礎(chǔ)模型，其經(jīng)由3.2萬(wàn)億個(gè)多語(yǔ)言高質(zhì)量數(shù)據(jù)訓(xùn)練，在CEVAL, CMMLU, MMLU, GSM8K等評(píng)測(cè)與基準(zhǔn)測(cè)試上都展現(xiàn)了同等規(guī)模模型的最佳效果。

Skywork-13B-Math模型經(jīng)過(guò)專門的數(shù)學(xué)能力強(qiáng)化訓(xùn)練，在GSM8K等數(shù)據(jù)集上取得了同等規(guī)模模型的最佳效果。

本次開(kāi)源的數(shù)據(jù)集大小約為600GB，總token數(shù)量約為150B，是目前開(kāi)源最大的高質(zhì)量中文數(shù)據(jù)集之一。

此外，昆侖萬(wàn)維還公開(kāi)了模型中使用的評(píng)估方法、數(shù)據(jù)配比研究和訓(xùn)練基礎(chǔ)設(shè)施調(diào)優(yōu)方案等，助力對(duì)于大型模型預(yù)訓(xùn)練的認(rèn)知，推動(dòng)人工智能通用智能的實(shí)現(xiàn)。

目前開(kāi)源社區(qū)中的中文大模型多數(shù)并非是完全可商用，通常需要進(jìn)行復(fù)雜的商用授權(quán)申請(qǐng)流程，甚至設(shè)定限制不給予商業(yè)授權(quán)。

此次Skywork-13B系列大模型將全面開(kāi)放商用許可，無(wú)需再次申請(qǐng)授權(quán)即可將大模型進(jìn)行商業(yè)用途，幫助更多對(duì)中文大模型感興趣的用戶和企業(yè)在行業(yè)中不斷探索和進(jìn)步。

附Skywork-13B下載地址：

https://modelscope.cn/organization/skywork

https://github.com/SkyworkAI/Skywork