Unsloth的動態GGUFs展示了如何將DeepSeek-V3.1 (671B)量化到僅1比特或3比特，并且仍能超越GPT-4.5、GPT-4.1和Claude-4-Opus等SOTA模型。

關鍵結果

• 1比特動態GGUF將DeepSeek-V3.1從671GB → 192GB(減少75%體積)，無思考模式大幅超越GPT-4.1、GPT-4.5和DeepSeek-V3-0324
• 3比特DeepSeek-V3.1(思考)GGUF：超越Claude-4-Opus-20250514(思考)
• 5比特DeepSeek-V3.1(非思考)GGUF：與Claude-4-Opus-20250514(非思考)性能相匹配
• 其他非Unsloth的1比特和2比特量化要么無法加載，要么產生亂碼和循環輸出

Aider多語言基準測試是衡量大語言模型編寫、編程、遵循指令以及在無人工干預情況下應用更改能力的最全面測試之一。

圖片

Unsloth動態量化

動態1比特將重要層設置為8或16比特，將不重要的層設置為1、2、3、4、5或6比特。

這種方法將一些層量化到低至1比特，將重要層量化到更高比特（6、8比特），已成為MoE量化的事實標準。配合專為聊天和編程性能設計的imatrix校準數據集，實現了極致的LLM壓縮而不會出現災難性的質量損失。。

圖片

Unsloth還在 https://docs.unsloth.ai/basics/unsloth-dynamic-2.0-ggufs 中展示了Gemma 3和Llama 4 Scout的動態基準測試，顯示了我們方法的有效性：

圖片

圖片

基準測試結果

基準實驗由David Sluys進行，測試運行約3次并平均得出中位數分數。對于非推理模式，動態5比特在Aider Pass-2上達到70.7%，而動態1比特達到55.7%。

與其他量化方法的比較 與相同模型大小和量化類型的其他社區量化相比，Unsloth動態量化表現非常出色。

動態量化消融研究attn_k_b和DeepSeek V3.1中的其他張量對量化高度重要，應保留在更高精度以保持準確性。僅通過增加約100MB左右的量化大?。?lt;0.1%），準確率就大幅提升。

圖片

圖片

本文轉載自??AI帝國??，作者：無影寺