AI丨智譜推新大模型推理網絡架構ZCube

智譜(02513)表示，針對預填充(Prefill)及解碼(Decode)分離(簡稱PD分離)部署中日益嚴峻結構性網絡擁塞難題，與馭馴網絡及清華大學在開源模型GLM-5.1線上生產推出新一代網絡架構ZCube。

GPU平均推理吞吐提升15%

智譜稱，通過將ZCube投入在千卡級GLM-5.1的一個線上推理集群中，在GPU型號、軟件棧、業務代碼全部不變前提下，實現成本優化， GPU、軟件棧及應用保持不變，交換機與光模組資本支出減少33%；吞吐提升，GPU平均推理吞吐提升15%；以及時延改善，TTFT P99降低40.6%。

在相同規模下，ZCube可以比傳統Clos/ROFT架構減少約三分一的交換機和光模組成本，比如對於萬卡智算集群，ZCube架構可節省網絡硬件投資約2.1億至6.4億元人民幣，意味付出更低網絡成本可獲更好負載均衡與性能表現。

下一篇：內地成品油價格明起上調

上一篇：700丨騰訊推操作系統層級AI助理Marvis

信報簡介｜服務條款｜私隱條款｜免責聲明｜廣告查詢｜加入信報｜聯絡信報

股票及指數資料由財經智珠網有限公司提供。期貨指數資料由天滙財經有限公司提供。外滙及黃金報價由路透社提供。

本網站的內容概不構成任何投資意見，本網站內容亦並非就任何個別投資者的特定投資目標、財務狀況及個別需要而編製。投資者不應只按本網站內容進行投資。在作出任何投資決定前，投資者應考慮產品的特點、其本身的投資目標、可承受的風險程度及其他因素，並適當地尋求獨立的財務及專業意見。

信報財經新聞有限公司、香港交易所資訊服務有限公司、其控股公司及／或該等控股公司的任何附屬公司、或其資訊來源及／或其他第三方數據供應商均竭力提供準確而可靠的資料，但不能保證資料絕對無誤，且亦不會承擔因任何不準確或遺漏而引起的任何損失或損害的責任。

建議瀏覽器： Chrome, Firefox, Safari, IE9或以上