🍊 The Latent Field

标签: scaling

此标签下有11条笔记。

  • 2026年9月08日

    Scaling Domain Data Repetition in LLM Pretraining

    • source
    • paper
    • pretraining
    • data-mix
    • data-engineering
    • scaling
    • data-repetition
  • 2026年8月31日

    Language Models are Few-Shot Learners

    • source
    • paper
    • gpt
    • decoder-only
    • language-model
    • in-context-learning
    • scaling
    • benchmark-contamination
  • 2026年8月31日

    Switch Transformers

    • source
    • paper
    • moe
    • sparse-model
    • expert-parallelism
    • mixed-precision
    • scaling
    • knowledge-distillation
  • 2026年8月26日

    GPipe

    • source
    • paper
    • distributed-training
    • pipeline-parallel
    • model-parallel
    • micro-batch
    • scaling
  • 2026年8月26日

    Megatron-LM

    • source
    • paper
    • distributed-training
    • tensor-parallel
    • megatron
    • model-parallel
    • scaling
    • gpt
    • bert
  • 2026年3月28日

    Compute Optimal

    • scaling
    • compute-optimal
  • 2026年3月28日

    Model Data and Compute

    • scaling
    • compute
  • 2026年3月28日

    Scaling Law

    • training
    • scaling
  • 2026年3月28日

    Training Budget

    • scaling
    • budget
  • 2026年2月22日

    Compute Optimal

    • pretraining
    • scaling
  • 2026年2月14日

    Mixture of Experts

    • architecture
    • scaling
    • moe
    • sparse-model

The Latent Field · An AI knowledge atlas built with Quartz © 2026