64G内存跑起284B大模型

开源项目 llama-modchip 靠魔改 llama.cpp 内核和量化，把 284B 的 DeepSeek-V4-Flash 塞进 64G 内存里跑起来了，不用显卡，生成速度 9-15 token/秒；30B 的小模型在纯 CPU 上能到 25-111 token/秒，256K 上下文也hold住。


来源：https://github.com/synchopate/llama-modchip