🍊 Latent Atlas 🍉
Search
搜索
暗色模式
亮色模式
阅读模式
探索
Home
❯
Inference
❯
Performance
❯
Latency and Throughput
Latency and Throughput
2026年4月25日
1分钟阅读
performance
latency
throughput
TODO: 说明延迟和吞吐的定义、prefill/decode 阶段差异、并发请求和 batch 对性能的影响。
关系图谱
反向链接
Context Compression
Performance