#推理优化
共 6 篇
英伟达用 AI 写的一万二千行，没人逐行审
英伟达工程师用一万二千行融合内核，把 Kimi K3 的解码速度提了一截，代码大部分由 agent 辅助完成。这篇讲清提升从哪来，以及"审查跟不上生成"这件事意味着什么。
英伟达投了一家「帮你省 GPU」的公司
英伟达参与了印度公司 Simplismart 的 1400 万美元 B 轮融资，这家公司的软件专门帮企业用更少的 GPU 跑模型。卖卡的为什么要投资省卡的，这类工具什么时候真省钱、什么时候是花架子，文中给出判断步骤。
趋境科技 B 轮：token 工厂的瓶颈不在卡
趋境科技完成 B 轮融资并自称半年指标增长超十倍。这篇不复述融资细节，聚焦交付侧：token 产能的瓶颈到底卡在哪、国产芯片异构协同解决什么问题，以及评估一家推理供应商该问哪些问题。
服务器上调快的推理优化，搬到 Mac 可能变慢
一篇论文系统测了四类推理优化在苹果芯片上的实际效果，结论是在 NVIDIA 服务器上验证过的加速手段不能直接照搬。本文告诉你哪几类在 Mac 上有用、哪几类反而拖慢，以及该信谁的基准。
循环架构的显存账，有人靠共享缓存来平
一篇 10 月论文研究循环架构推理时缓存线性膨胀的问题。读完能知道为什么重复过同一组层会吃显存、让各轮共享缓存难在哪，以及实测吞吐和首字延迟能改善多少。
语音智能体学着「边听边想」
论文「Heartbeat Thinking」让实时语音智能体在你说话时就推测性执行推理和工具调用，FDBench v3 上延迟降低 36.4%。本文讲清「心跳式」机制怎么工作、收益从哪来、什么场景不适用。