快科技11月20日消息，微軟投資的硅谷初創(chuàng)公司d-Matrix近日宣布，其首款人工智能芯片Corsair開始出貨。

d-Matrix表示Corsair在單臺服務(wù)器中為Llama3 8B提供每秒處理60000個tokens的性能，每個tokens的延遲為1毫秒。

該公司聲稱，與GPU和其他替代方案相比，Corsair提供了性能、能源效率和成本節(jié)省。

對于AI推理運算，數(shù)據(jù)傳輸是最大的瓶頸，它需要大量內(nèi)存，也需要非?？斓膬?nèi)存，但兩者卻很難兼顧。

目前的解決方案主要有三種，第一種是通過采樣和流水線減少處理的數(shù)據(jù)量來加速深度學(xué)習(xí)，但也限制了準確性和精確性。

第二種是在傳統(tǒng)的處理器附近設(shè)置專用AI引擎的處理器，蘋果、英偉達、Intel和AMD都采用這種方式，但這要集成SRAM和外部DRAM，仍然是高能耗和低效率。

第三種是將計算移動到內(nèi)存附近，也就是d-Matrix采用的方法，這種叫數(shù)字存算一體（DIMC）的技術(shù)架構(gòu)降低了延遲，減少了消耗。

因此非常適合AI推理，因為推理會涉及一個相對靜態(tài)（但大型）的權(quán)重數(shù)據(jù)集，這個數(shù)據(jù)集被反復(fù)訪問，DIMC消除了大部分能量轉(zhuǎn)移費用和數(shù)據(jù)移動的延遲。

得益于DIMC，Corsair可提供150TB/s的超高內(nèi)存帶寬，交互速度提高了10倍，能效提高了3倍。

其他方面，Corsair芯片采用行業(yè)標準的PCIe Gen5全高全長卡外形，通過DMX Bridge卡連接成對的卡。

每張Corsair卡都由多個DIMC計算核心驅(qū)動，具有2400 TFLOP的8位峰值計算能力、2GB的集成性能內(nèi)存和高達256GB的片外容量內(nèi)存。