🍊 The Latent Field
Search
搜索
暗色模式
亮色模式
学习
探索
标签: scaling
阅读模式
Hide sidebars
Show sidebars
此标签下有11条笔记。
2026年9月08日
Scaling Domain Data Repetition in LLM Pretraining
source
paper
pretraining
data-mix
data-engineering
scaling
data-repetition
2026年8月31日
Language Models are Few-Shot Learners
source
paper
gpt
decoder-only
language-model
in-context-learning
scaling
benchmark-contamination
2026年8月31日
Switch Transformers
source
paper
moe
sparse-model
expert-parallelism
mixed-precision
scaling
knowledge-distillation
2026年8月26日
GPipe
source
paper
distributed-training
pipeline-parallel
model-parallel
micro-batch
scaling
2026年8月26日
Megatron-LM
source
paper
distributed-training
tensor-parallel
megatron
model-parallel
scaling
gpt
bert
2026年3月28日
Compute Optimal
scaling
compute-optimal
2026年3月28日
Model Data and Compute
scaling
compute
2026年3月28日
Scaling Law
training
scaling
2026年3月28日
Training Budget
scaling
budget
2026年2月22日
Compute Optimal
pretraining
scaling
2026年2月14日
Mixture of Experts
architecture
scaling
moe
sparse-model