哎呀AI
量子位 研究

首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

是石科技发布 TokenFleet 集群调度框架,官方数据显示可将大模型推理的首 Token 延迟降低 32.4%。该框架定位在集群调度层,用于提升国产算力环境下的推理效率。

本文为摘要,完整内容请阅读原文: 量子位