openvino

O nástroji

OpenVINO (verze 2026.2 dle dokumentace) slouží vývojářům k převodu, optimalizaci a nasazení modelů strojového učení pro inferenci na hardwaru Intel. Dokumentace popisuje podporu konverze modelů z PyTorch, TensorFlow, ONNX, TensorFlow Lite, PaddlePaddle, JAX/Flax a Keras, tedy ze sedmi různých frameworků. Nástroj nabízí API pro Python i C++, ukázkové aplikace (Hello Classification, Benchmark Tool a další) a nástroje pro kvantizaci a kompresi vah modelů (NNCF, 4-bit weight quantization). Součástí dokumentace je i OpenVINO Model Server umožňující nasazení modelů přes Docker, Kubernetes nebo baremetal, s podporou API kompatibilních s TensorFlow Serving, KServe a OpenAI (chat completion, embeddings, text-to-speech, image generation). Dále jsou popsány specifické režimy pro generativní AI (OpenVINO GenAI), práci s NPU a GPU zařízeními a možnosti automatického výběru zařízení pro inferenci. Z dokumentace není patrné, zda je nástroj open-source ani jaký je model zpoplatnění – tyto informace důkaz neuvádí, proto je nelze potvrdit.

Kategorie