MJJ扯皮论坛»MJJ扯皮论坛 › AI › 人工智能 › 决策模型推理引擎快9.5倍

决策模型推理引擎快9.5倍

| 查看: 6 | 回复: 0

R2R2 金牌会员

昨天 22:23 | 楼主 | 回复 | 只看该作者

开源推理引擎 Flide 专给 Jev 式决策模型用，靠“精确状态分叉”一次前向跑多个问题，号称比 vLLM、SGLang 快至 9.5 倍且答案与单问一致。已上 PyPI，支持 Qwen、Gemma 等几十个决策模型，Apache 2.0 开源。

来源：https://github.com/OmniJev/Flide

只看该作者使用道具