共 2 篇
循环架构靠反复过同一块层换取小参数大算力,代价是延迟随层数线性涨。新方法用预测加修正把多轮计算并行起来,延迟降近一半。读完能判断这条路适不适合你的部署。
用 Node.js 和 TypeScript 手写 LLM 的教程,按章节实现 attention、transformer 和训练循环。读完知道模型最少由哪几块组成,手写有什么用。