🍊 Latent Atlas 🍉

Home

❯

Inference

❯

Quantization

Quantization

2026年4月11日1分钟阅读

量化模块负责整理推理中的低精度表示,包括 weight-only quantization、AWQ、GPTQ、FP8 和 KV Cache 量化。

Notes

  • 量化
  • Weight-only Quantization
  • AWQ
  • GPTQ
  • FP8
  • KV Cache Quantization

此文件夹下有6条笔记。

  • 2026年4月12日

    AWQ

    • quantization
    • awq
  • 2026年4月12日

    FP8

    • quantization
    • fp8
  • 2026年4月12日

    GPTQ

    • quantization
    • gptq
  • 2026年4月11日

    KV Cache Quantization

    • quantization
    • kv-cache
  • 2026年4月11日

    Quantization

    • inference
    • memory-optimization
    • compression
  • 2026年4月11日

    Weight-only Quantization

    • quantization
    • weight-only

🍊 Latent Atlas 🍉 · An AI knowledge atlas built with Quartz © 2026