Výzkumník Nick Cammarata ze startupu Goodfire zveřejnil 26 000 slov dlouhý text tvrdící, že komunita se na fungování neuronových sítí dívala špatně. MIT Technology Review z 19. října 2026 označuje objev za výbušný a píše, že převrátil dosavadní konsenzus v interpretovatelnosti AI.
Goodfire je malý interpretovatelnostní startup a Nick Cammarata jeho výzkumník. Přesto jeho blogový příspěvek délky plnohodnotné akademické knihy způsobil vlnu diskusí napříč AI komunitou. MIT Technology Review ho označilo za jeden z nejvýraznějších momentů v oblasti mechanistické interpretovatelnosti za poslední roky.
Cammarata ve svém textu tvrdí, že standardní pohled na to, jak neuronové sítě reprezentují koncepty uvnitř svých vrstev, je chybný. Přesná povaha jeho argumentu vyžaduje odborné pozadí, MIT Technology Review ji v článku plně nerozebírá, ale cituje řadu předních výzkumníků, kteří tezi považují za hodnou seriózní debaty.
Pokud se tvrzení potvrdí, mohlo by ovlivnit způsob, jakým se AI systémy auditují a interpretují. Zatím jde o blogový příspěvek, nikoli recenzovaný článek.
Proč by vás to mělo zajímat
Interpretovatelnost AI modelů je základ bezpečnostních auditů. Pokud se pohled na fungování sítí mění, změní se i nástroje pro jejich kontrolu. Sledujte, zda Goodfire výsledky publikuje v recenzované formě, než na jejich základě děláte závěry o bezpečnosti svých systémů.
