🍊 Latent Atlas 🍉
Search
搜索
暗色模式
亮色模式
探索
Home
❯
Inference
❯
Performance
❯
Latency and Throughput
Latency and Throughput
2026年4月25日
1分钟阅读
performance
latency
throughput
阅读模式
Hide sidebars
Show sidebars
TODO: 说明延迟和吞吐的定义、prefill/decode 阶段差异、并发请求和 batch 对性能的影响。
Source
Select a source link
GitHub
Hide
Select a GitHub source link in the note.
关系图谱
反向链接
Context Compression
Performance