Dynamo

Runtime d’inférence

Dynamo distribue l’inférence des modèles de raisonnement sur de grandes flottes de GPU. Il sépare les phases de préfixe et de décodage et route selon l’état du cache clé-valeur, ce qui augmente le débit à l’échelle du rack.

Points clés : Désagrégé · Flotte GPU · Routage cache.