Efecte papallona i IA: per què la mateixa pregunta pot donar respostes diferents

Oliver Nabani relaciona el caos determinista, la meteorologia i les respostes variables de la IA. La connexió és útil sempre que no confonguem una analogia amb una equivalència: els models de llenguatge no són sistemes caòtics com els descrits per Lorenz.

Del dimoni de Laplace al caos determinista

La idea del “dimoni de Laplace” imagina que, si coneguéssim amb precisió l’estat de cada partícula, podríem calcular el futur. Però determinisme no és el mateix que predictibilitat. En un sistema no lineal, una diferència minúscula en les condicions inicials pot créixer fins a separar molt dues trajectòries.

Edward Lorenz va descriure aquest comportament en el seu article de 1963, Deterministic Nonperiodic Flow. El sistema segueix unes equacions; no decideix a l’atzar. El problema és que mai no mesurem les condicions inicials amb precisió infinita.

Poincaré i els tres cossos

El problema dels tres cossos estudia la interacció gravitatòria entre tres objectes. Mentre el cas de dos cossos té solucions regulars conegudes, les interaccions entre tres poden generar dinàmiques molt més complexes. Henri Poincaré va estudiar el problema en una competició matemàtica convocada en honor d’Òscar II de Suècia. En corregir el seu treball va trobar estructures dinàmiques inesperadament complicades, un episodi precursor de la teoria del caos.

Això no significa que tota òrbita de tres cossos sigui aleatòria. Significa que alguns sistemes deterministes són molt sensibles a petites variacions inicials.

Què vol dir realment l’efecte papallona?

L’efecte papallona és una metàfora de la sensibilitat a les condicions inicials, no una afirmació literal que una papallona concreta provoqui un tornado. Tampoc vol dir que qualsevol canvi petit acabi sempre tenint conseqüències enormes.

L’exponent de Lyapunov mesura, de manera simplificada, com de ràpid se separen trajectòries que comencen molt a prop. En meteorologia, això limita la fiabilitat de les prediccions com més lluny mirem. No hi ha un tall exacte de catorze dies vàlid per a qualsevol situació: l’horitzó depèn del fenomen, les observacions i el model.

Com es representa la incertesa del temps

L’ECMWF utilitza un ensemble de 51 pronòstics: un de control i 50 amb petites variacions de les condicions inicials i de la física del model. Si coincideixen, la previsió és més robusta; si divergeixen, hi ha més incertesa.

L’huracà Melissa n’és un exemple. L’anàlisi posterior de l’ECMWF mostra dispersió en les trajectòries i en la intensitat prevista abans que impactés Jamaica el 2025. Els diferents escenaris no són necessàriament igualment probables; l’ensemble ajuda a comunicar el ventall de riscos possibles.

La IA no és el caos de Lorenz

Un model de llenguatge calcula probabilitats sobre el token següent i sovint en tria un mitjançant mostreig. Per això, repetir una pregunta pot donar textos diferents. Aquesta variació té causes pròpies i no prova que el model sigui un sistema caòtic físic.

Fins i tot amb temperatura zero, que busca triar el token més probable, alguns serveis poden variar en la pràctica. Thinking Machines Lab ha explicat que la mida dels lots de càlcul i la càrrega concurrent poden alterar lleument els resultats numèrics i, de vegades, la sortida. Això és variabilitat del procés d’inferència, no una demostració de caos en sentit matemàtic.

Un fenomen separat és la sensibilitat al format del prompt. L’estudi de Sclar i col·laboradors va trobar que canvis superficials en la presentació d’exemples poden afectar el rendiment de models en tasques de pocs exemples. Aquí pot haver-hi un canvi sistemàtic causat per una entrada diferent, no necessàriament aleatorietat entre execucions idèntiques.

Agents: molts passos, més punts on fallar

En una tasca llarga, un agent interpreta instruccions, crida eines, llegeix resultats i decideix què fer a continuació. Un error inicial pot contaminar els passos posteriors. Comparar diverses respostes —self-consistency— pot ajudar a detectar fragilitat, però una majoria de respostes no és automàticament una prova de veritat.

Les avaluacions de METR mesuren la probabilitat que agents completin tasques de programació de diferents durades. Són resultats limitats als seus conjunts de proves, però recorden que cal avaluar la fiabilitat de tota la tasca, no només un pas aïllat.

Conclusions

• El caos determinista no és sinònim d’atzar: la predicció es pot tornar inviable per sensibilitat a les condicions inicials.
• L’efecte papallona és una metàfora, no una causalitat literal.
• Els ensembles meteorològics mostren escenaris i incertesa; l’ECMWF opera 51 pronòstics de mitjà abast.
• La variabilitat dels LLM pot venir del mostreig, la inferència o el format del prompt; no converteix automàticament aquests models en sistemes caòtics.
• En agents de diversos passos, petits errors poden afectar el resultat final i cal mesurar la fiabilitat de cap a cap.

La lliçó compartida és que una predicció puntual pot amagar incertesa. En meteorologia es fan servir ensembles; en IA, repeticions, proves amb prompts alternatius, verificació externa i mesures de fiabilitat de la tasca sencera.