Unsloth AI· @UnslothAI · X·· 2 小时前AI 评分61
AI 导读
Unsloth 发布了 Mistral Le Chonk 的 1-bit GGUF 量化版，使其 1 万亿参数的 MoE 模型能够在 Mac Studio 等本地硬件上运行。该 1-bit 动态量化版本文件大小为 223GB，相较于 1.1TB 的 FP8 缩小了 80%，并保留了 91% 的 top-1 准确率；同时官方还提供了硬件需求表格与 Hugging Face 下载链接。
正文 · 原文
Mistral Le Chonk can now run locally!
The 1 trillion parameter model runs on a Mac Studio with our 1-bit GGUF which retains 91% top-1 accuracy.
Le Chonk is the strongest Western open model to date.
GGUF: https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF
Guide: https://unsloth.ai/docs/models/mistral-large-4
来源：Unsloth AI · x.com