快科技6月7日消息，Intel官方宣布，旗下數(shù)據(jù)中心、客戶端、邊緣AI解決方案均已經(jīng)為阿里云通義千問2（Qwen2）的全球發(fā)布提供支持，已取得ModelScope、阿里云PAI、OpenVINO等諸多創(chuàng)新成果。

為了最大限度地提升諸通義千問2等大模型的效率，Intel進(jìn)行了全面的軟件優(yōu)化，包括高性能融合算子、平衡精度和速度的先進(jìn)量化技術(shù)等。

Intel還采用KV Caching、PagedAttention機(jī)制和張量并行，提高推理效率。

Intel的硬件也可利用軟件框架和工具包進(jìn)行加速，并獲得出色的大模型推理性能，包括PyTorch以及Intel PyTorch擴(kuò)展包、OpenVINO工具包、DeepSpeed、Hugging Face庫、vLLM。

首先看Intel Gaudi AI加速器，專為生成式AI、大模型的高性能加速而設(shè)計(jì)，最新版的Gaudi Optimum可以輕松部署新號(hào)的大模型。

Intel使用Gaudi 2，對(duì)70億參數(shù)、720億參數(shù)的通義千問2模型的推理和微調(diào)吞吐量進(jìn)行了基準(zhǔn)測(cè)試，以下為詳細(xì)性能指標(biāo)和測(cè)試結(jié)果：

70億參數(shù)通義千問2在單顆Gaudi 2加速器上的推理

720億參數(shù)通義千問2在八顆Gaudi 2加速器上的推理

通義千問2 FP8在Gaudi 2加速器上的推理

通義千問2在Gaudi 2加速器上的微調(diào)

再看Intel至強(qiáng)處理器，作為通用平臺(tái)具有廣泛的可用性，適用于各個(gè)規(guī)模的數(shù)據(jù)中心，對(duì)于希望快速部署AI解決方案、沒有專項(xiàng)基礎(chǔ)設(shè)施企業(yè)非常理想。

至強(qiáng)處理器的每個(gè)核心都內(nèi)置了Intel AMX高級(jí)矩陣擴(kuò)展，可以處理多樣化的AI工作負(fù)載，并加速AI推理。

以上是在五代可擴(kuò)展至強(qiáng)上運(yùn)行阿里云ecs.ebmg8i.48xlarge實(shí)例，通義千問2的下一個(gè)推理token延遲情況。

最后是消費(fèi)級(jí)的AI PC，可以在本地部署大模型，既然可以使用處理器內(nèi)置GPU核顯、NPU AI引擎，也可以搭配獨(dú)立的銳炫顯卡。

以下展示了AI PC運(yùn)行15億參數(shù)的通義千問2：

酷睿Ultra 7 165H上的通義千問2推理

酷睿 Ultra 7 165H上的通義千問2下一個(gè)token延遲

銳炫A770 16GB顯卡上的通義千問2下一個(gè)token延遲