大模型笔记
  • Home

0.inbox

  • [Read]2025 04
  • Alg interview faq

1.[基建]数据

  • Data

3.[基建]效率

  • Inference
  • Train

4.[模型]文本

  • Embedding
  • PostTraining
  • PreTraining

5.[模型]多模态

  • MultiModalEmbedding
  • T2V
  • VLA
  • VLM

6.[模型]评测

  • Benchmark

7.[应用]产品

  • Agent
  • Product
  • VibeCoding
大模型笔记
  • 3.[基建]效率
  • Train

训练框架#

  • deepspeedai/DeepSpeed
  • unslothai/unsloth Finetune框架

分布式训练#

  • [2024.10] Liger Kernel: Efficient Triton Kernels for LLM Training
    • linkedin/Liger-Kernel
  • [2019.10] ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
    • [LLM]大模型显存计算公式与优化
Previous Next

Built with MkDocs using a theme provided by Read the Docs.
« Previous Next »