華為云基于 CloudMatrix384 超級(jí)集群,推出新一代大模型服務(wù)系統(tǒng) xDeepServe,首次實(shí)現(xiàn)千卡級(jí) MoE(Mixture of Experts) 模型的高效、可靠推理。它如何在數(shù)百 NPU 上實(shí)現(xiàn) 2400 tokens/s/chip 的吞吐與 50ms TPOT(每輸出 token 時(shí)延) 的極致性能?
對(duì)此,公眾號(hào)「機(jī)智流」 基于xDeepServe論文,對(duì)xDeepServe進(jìn)行了深入介紹。
「機(jī)智流」原文鏈接:聊聊大模型推理系統(tǒng)之華為云 xDeepServe:千卡級(jí)超節(jié)點(diǎn)規(guī)模下如何實(shí)現(xiàn) 50ms 時(shí)延的 LLM 推理?
xDeepServe論文鏈接:xDeepServe: Model-as-a-Service on Huawei CloudMatrix384