剛剛，剛剛DeepSeek-V3.2-Exp 開源了！開源

　　該模型參數(shù)量為 685B，剛剛HuggingFace 鏈接：

　　https：//huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp

　　此外，開源此次發(fā)布竟然也同步公開了論文，剛剛公開了 DeepSeek 新的開源稀疏注意力機(jī)制，為我們提供了更多結(jié)束細(xì)節(jié)：

　　https：//github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf

　　DeepSeek Sparse Attention（DSA）稀疏注意力機(jī)制

　　在官方介紹中，剛剛DeepSeek 表示 DeepSeek-V3.2-Exp 是開源實(shí)驗(yàn)版本。作為邁向下一代架構(gòu)的剛剛過渡，V3.2-Exp 在 V3.1-Terminus 的開源基礎(chǔ)上引入了 DeepSeek 稀疏注意力機(jī)制（DeepSeek Sparse Attention，DSA）—— 一種旨在探索和驗(yàn)證在長(zhǎng)上下文場(chǎng)景下訓(xùn)練和推理效率優(yōu)化的剛剛稀疏注意力機(jī)制。

　　DSA 也是開源 3.2 版本的唯一架構(gòu)改進(jìn)。

　　DeepSeek-V3.2-Exp 的剛剛架構(gòu)，其中 DSA 在 MLA 下實(shí)例化。開源

　　重點(diǎn)要說的剛剛是，DeepSeek 稱該實(shí)驗(yàn)版本代表了他們對(duì)更高效的 Transformer 架構(gòu)的持續(xù)研究，特別注重提高處理擴(kuò)展文本序列時(shí)的計(jì)算效率。

　　在 v3.2 版本中，DeepSeek 稀疏注意力 （DSA） 首次實(shí)現(xiàn)了細(xì)粒度稀疏注意力，在保持幾乎相同的模型輸出質(zhì)量的同時(shí)，顯著提高了長(zhǎng)上下文訓(xùn)練和推理效率。

　　為了嚴(yán)格評(píng)估引入稀疏注意力機(jī)制的影響，DeepSeek 特意將 DeepSeek-V3.2-Exp 的訓(xùn)練配置與 9 月 22 日剛剛推出的 V3.1-Terminus 進(jìn)行了對(duì)比。在各個(gè)領(lǐng)域的公開基準(zhǔn)測(cè)試中，DeepSeek-V3.2-Exp 的表現(xiàn)與 V3.1-Terminus 相當(dāng)。

　　更多信息，讀者們可以查閱 DeepSeek-V3.2-Exp 的 huggingface 介紹。

　　值得一提的是，智譜的 GLM-4.6 也即將發(fā)布，在 Z.ai 官網(wǎng)可以看到，GLM-4.5 標(biāo)識(shí)為上一代旗艦?zāi)Ｐ汀?/p>

　　最后，有一波小節(jié)奏。在模型發(fā)布前，已經(jīng)有網(wǎng)友在 Community 里發(fā)帖稱：國(guó)慶是休息日，請(qǐng)給我們關(guān)注的同學(xué)一點(diǎn)休息時(shí)間。

　　對(duì)此，你怎么看？