llama.cpp

Runtime d’inférence

llama.cpp reste léger. Il exploite le format GGUF, combine processeur et carte graphique, et applique une quantification de Q4 à Q8. Il convient au DGX Spark, au Mac Studio, au poste unique et aux usages hors ligne.

Points clés : Périphérie · Hors ligne · Quantifié.