TODO: 说明 KV Cache eviction 策略、长会话服务、显存限制和缓存淘汰对延迟/吞吐的影响。