聯(lián)想AI服務(wù)器首次實現(xiàn)低于1TB本地部署DeepSeek滿血大模型
3月4日消息,近日,聯(lián)想集團宣布基于聯(lián)想問天WA7780 G3服務(wù)器,在行業(yè)內(nèi)首次實現(xiàn)單機部署DeepSeek-R1/V3 671B大模型,以低于行業(yè)公認1TGB顯存(實際768GB)承載100并發(fā)用戶流暢體驗。據(jù)聯(lián)想實測數(shù)據(jù)顯示,在512 token標(biāo)準(zhǔn)測試環(huán)境下,該系統(tǒng)可支持100個并發(fā)用戶持續(xù)獲得每秒10 token的穩(wěn)定輸出,首token響應(yīng)時間壓縮至30秒內(nèi)。
?
文章評價

發(fā)布
發(fā)布