近日，DeepSeek發(fā)布了模型更新——DeepSeek-V3-0324，此次升級(jí)不僅延續(xù)了DeepSeek系列“低成本、高性能”的基因，更憑借MLA(多頭潛在注意力)和MTP(多Token預(yù)測)兩大創(chuàng)新技術(shù)，將推理速度顯著提升。京東云DeepSeek一體機(jī)第一時(shí)間完成適配，相比開源版本性能大幅提升50%。
單機(jī)支持超千并發(fā)：單機(jī)支持1000+并發(fā)請(qǐng)求，總吞吐突破7200 Token/s，可同時(shí)服務(wù)超大規(guī)模企業(yè)級(jí)AI應(yīng)用。
極致數(shù)據(jù)吞吐保障：500并發(fā)時(shí)仍保持11.03 Token/s，平衡性能與用戶體驗(yàn)。
據(jù)悉，此次DeepSeek模型更新，通過MLA技術(shù)通過將高維特征壓縮至低維潛在空間，顯著減少計(jì)算資源消耗；MTP技術(shù)則提升數(shù)據(jù)利用效率，實(shí)現(xiàn)時(shí)間維度的資源優(yōu)化。二者的結(jié)合，使得DeepSeek-V3-0324在復(fù)雜任務(wù)處理中展現(xiàn)出更快的響應(yīng)速度與更高的穩(wěn)定性。
京東云DeepSeek一體機(jī)通過融合MLA+MTP雙技術(shù)，為企業(yè)提供無縫適配的推理加速方案。此次支持的DeepSeek-V3-0324版本，延續(xù)了“單機(jī)即可部署滿血版模型”的特性，用戶無需復(fù)雜配置即可運(yùn)行完整版大模型，滿足千人規(guī)模企業(yè)的并發(fā)需求。
同時(shí)，京東云DeepSeek一體機(jī)還支持華為昇騰、海光等國產(chǎn)AI芯片，兼顧性能與安全自主可控。并通過采用自研算力池化與智能推理加速引擎，軟硬協(xié)同下推理速度較開源方案提升高達(dá)50%。
當(dāng)前，京東云DeepSeek一體機(jī)已廣泛應(yīng)用于政務(wù)、金融、科研、能源、醫(yī)療、工業(yè)、科研等領(lǐng)域。以“推理加速+算力池化”的雙重策略，實(shí)現(xiàn)同等硬件規(guī)格下、同等參數(shù)規(guī)格下更高效的推理能力和資源利用率，通過將復(fù)雜的AI工程化過程封裝為標(biāo)準(zhǔn)化產(chǎn)品，讓企業(yè)無需糾結(jié)于“造輪子”，而是聚焦于“用AI創(chuàng)造價(jià)值”，更好地進(jìn)行AI智能化轉(zhuǎn)型。