#推理服务

从模型到上线之间的活，被做成了一个开源平台

范式智能和睿思智联开源了部署平台「模域」，把多芯片调度、PD 分离、KV 缓存、弹性扩缩容打包成一套。读完能判断它替掉的是哪部分工作，以及自建值不值。