新浪科技訊 10月13日下午消息，首次螞蟻集團(tuán)正式開(kāi)源業(yè)界首個(gè)高性能擴(kuò)散語(yǔ)言模型推理框架dInfer。歸模個(gè)高

　　據(jù)介紹，型螞性在基準(zhǔn)測(cè)試中，蟻集源業(yè)語(yǔ)dInfer將擴(kuò)散語(yǔ)言模型的團(tuán)開(kāi)推理推理速度相比于英偉達(dá)擴(kuò)散模型框架Fast-dLLM提升了10.7倍；在代碼生成任務(wù)HumanEval上，dInfer在單批次推理中創(chuàng)造了1011Tokens/秒的內(nèi)首速度，首次在開(kāi)源社區(qū)中實(shí)現(xiàn)擴(kuò)散語(yǔ)言模型的擴(kuò)散框架單批次推理速度顯著超越自回歸模型。dInfer的模型工作表明，擴(kuò)散語(yǔ)言模型具備顯著的首次效率潛力，可以通過(guò)系統(tǒng)性的歸模個(gè)高創(chuàng)新工程兌現(xiàn)，為通往AGI的型螞性架構(gòu)路徑提供極具競(jìng)爭(zhēng)力的選項(xiàng)。

　　在配備8塊NVIDIA H800 GPU的蟻集源業(yè)語(yǔ)節(jié)點(diǎn)上，dInfer的團(tuán)開(kāi)推理性能表現(xiàn)令人矚目：

　　在與先前的dLLM推理方案Fast-dLLM的對(duì)比中，dInfer在模型效果持平的內(nèi)首情況下，平均推理速度（avg TPS）實(shí)現(xiàn)了10.7倍的擴(kuò)散框架巨大提升（681 vs 63.6） ；在代碼生成任務(wù)HumanEval上，dInfer在單批次推理中創(chuàng)造了1011 tokens/秒的速度 ；與在業(yè)界頂尖的推理服務(wù)框架vLLM上運(yùn)行的、參數(shù)量和性能相當(dāng)?shù)腁R模型Qwen2.5-3B相比，dInfer的平均推理速度是其2.5倍（681 vs 277） 。

　　螞蟻集團(tuán)表示，dInfer連接了前沿研究與產(chǎn)業(yè)落地，標(biāo)志著擴(kuò)散語(yǔ)言模型從“理論可行”邁向“實(shí)踐高效”的關(guān)鍵一步。此次開(kāi)預(yù)案，也是誠(chéng)邀全球的開(kāi)發(fā)者與研究者共同探索擴(kuò)散語(yǔ)言模型的巨大潛能，構(gòu)建更加高效、開(kāi)放的AI新生態(tài)。