本篇文章探討了大型語言模型（LLM）架構的最新演進，聚焦於如何透過KV共享、層級注意力預算、壓縮卷積注意力（CCA）及流形約束超連接（mHC）等技術，解決長文本處理中的記憶體與運算瓶頸。從Gemma 4到DeepSeek V4，開發者正透過多樣化的優化手段提升推理效率，為AI進入終端裝置與處理大規模上下文提供關鍵技術支撐。

DeepSeek發布了旗艦開源模型V3.2，性能直逼頂級閉源模型。本文深入解析其技術核心，包括從V3到V3.2的轉變，特別是引入的DeepSeek稀疏注意力（DSA）如何優化長上下文處理，以及RLVR訓練流程的革新，特別是參考DeepSeekMath V2的自我驗證機制。這些技術細節展示了DeepSeek在LLM架構設計上的務實與創新，鞏固其在開源界的領先地位。