Hugging Face 22. září 2026 oznámil, že knihovna Transformers nyní nativně spouští kvantizované modely ve formátu llama.cpp. Krok odstraňuje dosavadní nutnost spouštět oddělený llama.cpp server nebo wrapper a přináší jednotné rozhraní pro inferenci. Změna se dotkne vývojářů, kteří kombinují ekosystém Hugging Face s lokálně optimalizovanými modely.
Hugging Face integroval podporu llama.cpp kvantizací přímo do knihovny Transformers. Vývojáři dosud museli spouštět llama.cpp jako samostatný proces nebo použít wrapper knihovnu.
Nativní integrace znamená jednotné API, které funguje bez ohledu na to, zda model běží ve full precision nebo jako GGUF kvantizát. Tím se výrazně snižuje komplexita lokálního nasazení.
Související novinkou je příchod Jun Kima, tvůrce a správce oMLX, přímo do Hugging Face. Kim bude podporovat komunitu kolem MLX frameworku pro Apple Silicon, což naznačuje, že Hugging Face cílí na lokální inferenci jako strategickou prioritu.
Proč by vás to mělo zajímat
Vývojáři spouštějící lokální modely přes llama.cpp mohou nově migrovat na Transformers API bez ztráty výkonu kvantizovaných modelů. Nechte stávající llama.cpp implementaci běžet paralelně a otestujte nativní integraci na menším projektu před plnou migrací.
