电视盒子跑起16B大模型

有人专治小设备的“大模型焦虑”：开源项目 smolmaxxing 用魔改版 llama.cpp 加 1-bit 内核、专家按需从闪存分页的办法，让小米电视盒子（不到 2GB 内存）跑起 16B 模型、每秒 5.1 个 token，2013 年的 iPad Air 也能跑 1-bit 的 17 亿参数模型、每秒 24 个 token。

来源：https://github.com/hyperionaidev/smolmaxxing/