AION-Research

Negli ultimi anni il dibattito sull’intelligenza artificiale generativa si è progressivamente spostato da una riflessione centrata sulle prestazioni linguistiche dei Large Language Models (LLM) verso una discussione più ampia sulla loro collocazione all’interno di sistemi «cognitivi» complessi. Del resto, la tecnica insegna che l’evoluzione tecnologica procede in maniera incrementale e per raffinamenti successivi, talvolta imboccando strade senza uscita, facendo passi indietro, ma anche balzi in avanti. In questo contesto si inserisce, ad esempio, il lavoro  Recursive Language Models , proposto a fine 2025, da Alex L. Zhang, Tim Kraska e Omar Khattab (2025), che affronta in modo esplicito una questione molto dibattuta e che talvolta può generare equivoci. Da un lato, gli LLM hanno raggiunto livelli di competenza linguistica senza precedenti, se comparati ai precedenti tentativi prima dell’era delle reti neurali di tipo Transformers (i.e., prima del 2017). Dall’altro, persistono l...

  Una delle acquisizioni concettuali più rilevanti degli ultimi anni all'interno del  dibattito contemporaneo sui modelli linguistici di grandi dimensioni (LLM)  è rappresentata dall’emergere della nozione di « circuit » all’interno della cosiddetta « mechanistic interpretability ». In particolare, il concetto di « induction circuits » nei modelli linguistici transformer fu identificato per la prima volta da Olsson et al. (2022), nel loro studio « In‑context Learning and Induction Heads », quindi nell’ambito della capacità di apprendimento – partendo direttamente dal materiale presente nella cosiddetta «finestra di contesto» – manifestata dagli LLM. Parlare di  circuits  significa abbandonare l’idea del modello come blocco opaco ( black box model ) e assumere che il comportamento di un Transformer possa essere analizzato come il risultato dell’interazione di sottostrutture funzionali ricorrenti, stabilizzate dall’addestramento e identificabili in termini causa...