不自建代理都不知道烧了多少

HN 热帖（135 分）博主吐槽：官方后台的用量统计就是摆设，看不出时间序列、做不了工程决策；自建 LLM 代理的好处是多供应商多模型走一个自己可控的入口、每个 key 何时调了哪个模型一目了然、用虚拟 key 不再到处撒主 key，缓存 miss 20 秒就能定位原因。结论：把数据路径、可观测性、存储攥在自己手里——“大模型原理我未必讲得清，但它跑推理时必须被我看得见”。
来源：https://jrdsgl.com/if-you-dont-r ... now-whats-going-on/