Ragionamento dei modelli AI: perché i costi di inferenza sono imprevedibili

Quando un modello di ragionamento affronta un problema difficile, il percorso che segue non è lineare. Una ricerca del GilpinLab ha identificato la causa strutturale di un fenomeno già noto agli sviluppatori: due prompt quasi identici possono generare tracce di ragionamento con differenze di lunghezza fino a dieci volte, con costi in token che variano in modo difficilmente prevedibile.

La spiegazione emersa è geometrica. Il processo di ragionamento si comporta come un sistema dinamico sensibile alle condizioni iniziali, e questa sensibilità produce strutture frattali: basin di convergenza con confini irregolari, dove piccole variazioni nel punto di partenza determinano percorsi radicalmente diversi, anche quando entrambi raggiungono la risposta corretta. La struttura è stata verificata su Sudoku, labirinti, puzzle matematici e benchmark ARC-AGI.

Il repository loopscape offre strumenti per esplorare questi paesaggi di convergenza frattale su modelli esistenti. La libreria consente di iniettare condizioni iniziali arbitrarie e osservare come il modello si stabilizza, o si blocca temporaneamente vicino a risposte errate prima di “scappare” verso la soluzione.

L’implicazione operativa è diretta: la variabilità dei costi di inferenza non è un difetto da correggere, ma una conseguenza inevitabile di qualsiasi sistema che esplori in profondità spazi di problemi complessi. Chi progetta pipeline basate su reasoning model deve considerare questa imprevedibilità come una proprietà strutturale, non come rumore.