LightGPT

O nástroji

LightGPT je instrukční jazykový model (LightGPT-instruct-6B) vyvinutý přispěvateli AWS, postavený na architektuře GPT-J 6B a doladěný na instrukčním datasetu OIG-small-chip2. Generuje textové odpovědi na strukturované instrukční prompty a je určen primárně pro vývojáře a výzkumníky v oblasti NLP. Model je dostupný přes Hugging Face a podporuje nasazení na Amazon SageMaker. Parametry generování (jako temperature, top_p, top_k nebo repetition_penalty) lze přizpůsobit konkrétním potřebám. Model pracuje výhradně s anglickým jazykem a má známá omezení – selhává u dlouhých vstupů, chybuje v matematice a logickém uvažování a je náchylný k halucinacím. LightGPT je vydán pod licencí Apache 2.0, model i jeho váhy jsou tedy volně dostupné ke stažení a lokálnímu spuštění. Cloudové nasazení přes Amazon SageMaker je zpoplatněno dle standardního AWS ceníku.

Klíčové vlastnosti

• Generování textu na základě strukturovaných instrukčních promptů (text-to-text)
• Fine-tuning na instrukčním datasetu OIG-small-chip2
• Nasazení na Amazon SageMaker (instance ml.g5.2xlarge, fp16 precision)
• Nastavitelné parametry generování: temperature, top_p, top_k, repetition_penalty, max_new_tokens
• Volně dostupné váhy modelu ke stažení přes Hugging Face
• Licence Apache 2.0 – plně open-source

Časté dotazy

Kategorie

Štítky

Sociální sítě