OpenLLM

O nástroji

OpenLLM od BentoML umožňuje vývojářům spouštět open-source LLM (například Llama 3.3, Qwen2.5 nebo Phi3) i vlastní modely jako OpenAI-kompatibilní API. Instalace probíhá přes pip install openllm, vyzkoušet jej lze příkazem openllm hello a lokální server se spouští pomocí openllm serve. Nástroj obsahuje vestavěné chatovací rozhraní a moderní inferenční backendy, díky nimž lze modely provozovat s minimální konfigurací. Projekt je vydán jako open source pod licencí Apache 2.0 a jeho vývoj probíhá na GitHubu, kde má přes 12 000 hvězdiček a více než 800 forků. Samotné modely OpenLLM neukládá, lze je ale doplnit z vlastního repozitáře. Pro enterprise nasazení nabízí BentoML integraci s Dockerem, Kubernetes a platformou BentoCloud, která poskytuje spravovanou infrastrukturu s autoscalingem, orchestrací modelů a observabilitou. Samotný OpenLLM je zdarma jako open-source nástroj, zatímco BentoCloud představuje placenou variantu pro škálovatelné cloudové nasazení – konkrétní ceník BentoCloud však v dostupných zdrojích uveden nebyl.

Klíčové vlastnosti

• Spuštění LLM jako OpenAI-kompatibilní API jedním příkazem
• Instalace přes pip install openllm
• Vestavěné chatovací rozhraní pro testování modelů
• Podpora modelů Llama 3.3, Qwen2.5, Phi3 i vlastních modelů
• Open-source pod licencí Apache 2.0
• Enterprise nasazení přes Docker, Kubernetes a BentoCloud

Časté dotazy

Kategorie