spaCy

O nástroji

spaCy je bezplatná open-source knihovna pro zpracování přirozeného jazyka (NLP) v jazyce Python, zaměřená na výkon a rychlost při zpracování velkých objemů textu, například celých webových dat. Nabízí podporu pro více než 75 jazyků a 84 trénovaných pipeline pro 25 jazyků, přičemž je napsaná v Cythonu pro zajištění vysoké rychlosti zpracování. Mezi hlavní funkce patří rozpoznávání pojmenovaných entit (NER), značkování slovních druhů (POS tagging), syntaktická analýza závislostí (dependency parsing), segmentace vět, klasifikace textu, lemmatizace, morfologická analýza a entity linking. Knihovna podporuje multi-task learning s předtrénovanými transformery jako BERT a umožňuje vlastní modely v rámci PyTorch a TensorFlow. Přes balíček spacy-llm lze integrovat i velké jazykové modely, například GPT-3.5, do NLP pipeline bez nutnosti trénovacích dat. Aktuální verze 3.7 přináší ucelený systém pro konfiguraci trénovacích běhů pomocí konfiguračních souborů a nový systém projektů, který umožňuje sledovat kroky transformace dat, předzpracování a trénování od prototypu až po produkční nasazení. Knihovna se instaluje přes pip a je vydávaná pod MIT licencí, takže je zdarma použitelná i komerčně; tvůrci nabízejí také zakázkové vytvoření spaCy pipeline s předem stanovenou cenou.

Klíčové vlastnosti

• Podpora více než 75 jazyků včetně češtiny
• 84 předtrénovaných pipeline pro 25 jazyků
• Rozpoznávání entit, POS tagging a syntaktická analýza
• Integrace LLM jako GPT-3.5 přes balíček spacy-llm
• Konfigurovatelný trénovací systém přes konfigurační soubory
• Vlastní modely v PyTorch a TensorFlow

Časté dotazy

Kategorie