🍊 Latent Atlas 🍉

Home

❯

Inference

❯

KV Cache and Memory

KV Cache and Memory

2026年4月04日1分钟阅读

KV Cache 与显存模块负责整理推理中的缓存、显存占用、分页管理、prefix cache、cache eviction 和内存碎片问题。

Notes

  • KV Cache
  • PagedAttention
  • Prefix Cache
  • Cache Eviction
  • Memory Fragmentation

此文件夹下有5条笔记。

  • 2026年4月05日

    Cache Eviction

    • kv-cache
    • memory
  • 2026年4月05日

    Memory Fragmentation

    • memory
    • serving
  • 2026年4月04日

    KV Cache

    • inference
    • memory-optimization
    • kv-cache
  • 2026年4月04日

    PagedAttention

    • kv-cache
    • memory
    • vllm
  • 2026年4月04日

    Prefix Cache

    • kv-cache
    • prefix-cache

🍊 Latent Atlas 🍉 · An AI knowledge atlas built with Quartz © 2026