本帖最后由 R2R2 于 2026-10-26 17:14 编辑
新论文挑战了 Transformer 的核心假设：用 Causal Grassmann 层替换注意力机制，理由是草曼数天然满足反对易关系、没有 Softmax bottleneck，能对 token 间“冲突/互斥”信息建模，而普通注意力权重都是非负数、只能建模“相关”。作者声称，该架构可在标准基准上以更少的 FLOPs 达到同等甚至更优效果，并在 100M 参数内完成了验证。
来源： https://arxiv.org/abs/2512.19428
|
