vLLM

Production, Cache clé-valeur, Multi-GPU

Triton Inference Server

Multi-cadres, Mise en lot, Métriques

Dynamo

Désagrégé, Flotte GPU, Routage cache

llama.cpp

Périphérie, Hors ligne, Quantifié

Unsloth

Réglage fin, LoRA et QLoRA, Souverain

dwarfstar

Pile maison, Local intégral, GLM 5.2 et DeepSeek V4