Výzkumníci z MIT 2. listopadu představili experiment Sparks of Weight-Space Programming, v němž jazykové modely přímo upravují váhy neuronových sítí. Agent Astra opravil model Qwen a jeho úspěšnost v testech vzrostla z 8 na 48 %.
Podle Root.cz a Živě.cz ukazuje experiment MIT, že pokročilé jazykové modely dokážou nejen analyzovat cizí neuronové sítě, ale také upravovat jejich číselné váhy bez přetrénování.
Astra zasáhla do modelu Qwen a úspěšnost v testech se zvedla z 8 na 48 %. Živě.cz uvádí, že u velkých modelů zatím postup brzdí omezená délka kontextu.
Výsledek je zatím experimentální, ale naznačuje cestu k opravám modelů bez nákladného přetrénování.
Proč by vás to mělo zajímat
Pokud se postup potvrdí u větších modelů, mohou se chyby modelů opravovat levněji než přetrénováním. Zatím jde o experiment, takže stačí věc sledovat.
