Performance 模块负责整理推理性能指标和评测方法,包括延迟、吞吐、TTFT、TPOT、batch size 和 benchmark。 Notes Latency and Throughput TTFT and TPOT Batch Size Benchmark