GGML
GGML je open-source tenzorová knihovna pro strojové učení, která umožňuje spouštět velké jazykové modely na běžném hardwaru.
O nástroji
GGML je nízkoúrovňová tenzorová knihovna navržená pro efektivní inferenci strojových modelů na spotřebitelském hardwaru bez nutnosti specializovaných GPU. Knihovna je základem projektů jako llama.cpp a whisper.cpp, které umožňují lokální spouštění velkých jazykových a zvukových modelů. Klíčovými vlastnostmi jsou celočíselná kvantizace (integer quantization) pro snížení paměťových nároků, podpora širokého spektra hardwarových platforem, nulové alokace paměti za běhu a žádné závislosti na třetích stranách. Codebase je záměrně udržován co nejmenší a nejjednodušší. Knihovna je dostupná pod licencí MIT jako open-source projekt. Vyvíjí ji společnost ggml.ai, kterou v roce 2023 založil Georgi Gerganov a která byla v roce 2026 akvírována společností Hugging Face. Vývoj probíhá veřejně na GitHubu pod organizací ggml-org a je otevřen komunitním přispěvatelům.
Klíčové vlastnosti
- Nízkoúrovňová cross-platform implementace tenzorových operací
- Celočíselná kvantizace modelů pro snížení paměťových nároků
- Podpora širokého spektra hardwaru (commodity hardware)
- Nulové alokace paměti za běhu (zero memory allocations at runtime)
- Žádné závislosti na třetích stranách
- Základ pro projekty llama.cpp a whisper.cpp
Časté dotazy
Je GGML zdarma?
Ano, GGML je open-source knihovna dostupná zdarma pod licencí MIT. Vývojáři naznačují, že v budoucnu mohou vzniknout komerčně licencovaná rozšíření, ale samotná knihovna zůstává volně dostupná.
K čemu se GGML hodí?
GGML slouží jako základ pro spouštění velkých jazykových a zvukových modelů na běžném hardwaru bez specializovaných GPU. Využívají ji projekty llama.cpp (inference LLM modelů) a whisper.cpp (přepis řeči), které umožňují lokální provoz AI modelů.
Jak GGML funguje?
GGML je nízkoúrovňová tenzorová knihovna napsaná v C/C++ bez závislostí na třetích stranách. Využívá celočíselnou kvantizaci pro komprimaci modelů a optimalizuje paměťové operace (nulové alokace za běhu), čímž umožňuje efektivní inferenci na spotřebitelském hardwaru.
Kdo stojí za GGML?
Společnost ggml.ai založil v roce 2023 Georgi Gerganov, autor projektů llama.cpp a whisper.cpp. Pre-seed financování poskytli Nat Friedman a Daniel Gross. V roce 2026 byla společnost akvírována platformou Hugging Face.
Kde najdu zdrojový kód a jak přispět?
Vývoj probíhá veřejně na GitHubu pod organizací ggml-org. Přispěvatelé jsou vítáni a projekt je otevřen komunitním experimentům a novým nápadům.
Kategorie
Štítky
Sociální sítě
AI novinky do e-mailu
Každý pátek 3 vybrané AI nástroje, prompt týdne a to nejdůležitější ze světa AI — přehledně, česky a bez balastu.
Jeden z nejstarších pravidelných českých AI newsletterů.
Přidejte se k …+ čtenářům
Podobné nástroje
Hledáte alternativu k GGML? Tady je 6 podobných nástrojů z kategorie Asistent kódování.
Codeium
FreemiumSpravuje flotily lokálních i cloudových AI agentů přímo z editoru.
Replit
FreemiumReplit je cloudové vývojové prostředí, které umožňuje psát, spouštět a nasazovat aplikace a weby…
BlackBox AI
FreemiumBlackBox AI je vývojářská platforma, která poskytuje inference API, CLI nástroj, cloudové agenty…
Safurai
FreemiumSafurai je AI asistent pro vývojáře ve formě IDE rozšíření, který pomáhá psát, debugovat, refakt…
CodeGeeX
ZdarmaCodeGeeX je AI asistent pro programování, který na základě textového dotazu generuje spustitelný…
SourceAI
PlacenéAkinciborg je služba etického hackingu a penetračního testování webových aplikací, API a cloudov…