MJJ扯皮论坛»MJJ扯皮论坛 › AI › 人工智能 › 三星开源亚1比特压缩

三星开源亚1比特压缩

| 查看: 1 | 回复: 0

R2R2 注册会员

1 小时前 | 楼主 | 回复 | 只看该作者

Samsung Labs 开源了 LittleBit-2（ICML 2026 论文实现），用低秩隐因子分解加二值化把大模型压到亚 1 比特，最低 0.1 bits/weight，支持 Llama、Qwen、Gemma、Phi-4 等做 QAT 量化。

https://github.com/SamsungLabs/LittleBit

只看该作者使用道具