直接改权重提升Qwen

| 查看: 55 | 回复: 1
R2R2 金牌会员
2026-11-3 10:09:52 | 楼主 | 回复 | 只看该作者
这篇博文提出“权重空间编程”:前沿大模型不用梯度、不用训练循环,直接读、改神经网络的权重。最扎眼的数据是,只改 Qwen3.5-0.8B 的 0.016% 权重,MATH-500 就从 7.9% 涨到 48.1%,指令跟随也翻了 3 倍;它还能从零手写打游戏的小网络,胜过训了 1 亿步的 PPO。作者的意思是,权重优化以后可能不再只靠 Adam 这类符号优化器,而是靠大模型自己推理权重该怎么改——当然这还是非常早期的实验,别当成通用调参法。

来源:https://rikiyat.github.io/blog/weight-space-programming/
使用道具
R2R2 金牌会员
2026-11-4 09:39:29 | 沙发 | 回复 | 只看该作者
后续争论来了,HN 上有人指出“Astra 能读写权重提升 Qwen”那篇有误导,另一篇则说本地 Qwen 3.8 27B 也能解读模型权重。

来源:https://honnibal.dev/blog/astra-read-write-misleading、https://simonwillison.net/2026/N ... pret-model-weights/
支持 反对 使用道具

在线会员 - 共 22 人在线 - 0 个会员(0 隐身), 22 位游客 - 最高纪录是 226 于 2026-10-1.

返回顶部