LLMChess

O nástroji

LLMChess umožňuje hrát šachové partie přímo v prohlížeči, kde uživatel nastupuje jako bílý hráč a soupeřem je vybraný jazykový model. Před začátkem hry si hráč zvolí AI model (GPT-3.5-turbo nebo GPT-4) a připojí vlastní OpenAI API klíč – náklady na tokeny tak hradí přímo přes OpenAI. Rozhraní zobrazuje log tahů v pravém panelu a nabízí tlačítka Start a End pro ovládání partie. Aplikace je optimalizována pro prohlížeč Google Chrome. Verze pro výzkumné účely (projekt maxim-saplin/llm_chess) slouží jako benchmark hodnotící schopnosti LLM v oblasti uvažování a sledování instrukcí prostřednictvím šachových partií. Tato verze zahrnuje leaderboard s hodnocením modelů pomocí Elo skóre a podporuje širší škálu poskytovatelů včetně Azure OpenAI, Anthropic, Google, Groq, Ollama a LM Studio. Nástroj je určen jak pro šachové nadšence, kteří chtějí otestovat sílu jazykových modelů ve hře, tak pro výzkumníky zkoumající schopnosti LLM v logickém uvažování.

Klíčové vlastnosti

• Hraní šachů proti GPT-3.5-turbo a GPT-4
• Výběr AI modelu před začátkem hry
• Log tahů zobrazený v pravém panelu rozhraní
• Připojení přes vlastní OpenAI API klíč
• Výzkumný leaderboard s Elo hodnocením 44+ LLM modelů
• Podpora Azure OpenAI, Anthropic, Google, Groq, Ollama a LM Studio ve výzkumné verzi

Časté dotazy

Kategorie

Štítky

Sociální sítě