浪潮信息宣布推出元腦CPU推理服務(wù)器,可高效運(yùn)行DeepSeek和千問(wèn)QwQ等新一代大推理模型。元腦CPU推理服務(wù)器NF8260G7和NF8480G7設(shè)計(jì)采用4顆高性能通用CPU和多通道內(nèi)存系統(tǒng),通過(guò)先進(jìn)的張量并行策略和AMX加速技術(shù),單機(jī)即可高效運(yùn)行DeepSeek-R1 32B和QwQ-32B推理模型,單用戶性能超20 toke... (來(lái)源:新聞?lì)l道)
浪潮信息CPU推理服務(wù)器AI 2025-3-21 09:33