AION-Research

Figura  1  Il significato emerge come risultato di trasformazioni vettoriali stratificate lungo layer Transformer impilati, culminando in una distribuzione di probabilità sul vocabolario per la generazione del token successivo.   Viaggio nel vettore delle attivazioni Nel dibattito sull’Intelligenza Artificiale moderna, alla base dei Large Language Models (LLM) e dell’IA generativa, si sente spesso affermare che i Transformer (Vaswani, 2017) – le particolari reti neurali artificiali che fondano i moderni LLM – siano semplici «completatori statistici» che «indovinano la parola successiva». L’affermazione non è falsa, ma è profondamente riduttiva se considerata isolata dalla comprensione dell’intimo funzionamento di un LLM. Sicuramente dietro le quinte un «motore statistico» gioca un ruolo fondamentale, ma la statistica non contempla solo conteggi e frequenze in stile tavole di contingenza (come per i vecchi modelli a n-grammi) bensì è ottenuta tramite la rappresentazione ...

  Negli ultimi giorni Yoshua Bengio, figura di riferimento nello sviluppo storico del deep learning e voce autorevole nel dibattito sulle implicazioni teoriche dell’intelligenza artificiale, ha rilanciato pubblicamente un lungo articolo di analisi pubblicatosu X dall’account «@iruletheworldmo», accompagnandolo con un commento che, pur nella sua estrema concisione, risulta particolarmente denso di significato: «Very concerning signs of agency, situational awareness, self-preservation, strategic behaviour modification, theory of mind, willingness to cheat and cross moral red lines». L’articolo condiviso da Bengio si presenta come una ricostruzione articolata e documentata di una serie di risultati emersi negli ultimi anni all’interno dei principali laboratori di ricerca sull’intelligenza artificiale avanzata. Il testo intreccia report tecnici, valutazioni di sicurezza e contributi accademici che raramente raggiungono il dibattito pubblico, delineando un quadro complessivo in cui...

  Autoricorsività linguistica e modellazione del comportamento nei transformer autoregressivi I modelli linguistici autoregressivi basati su architetture Transformer, nella loro declinazione GPT-like, vengono spesso descritti come sistemi che stimano la probabilità del token successivo a partire da una sequenza di token precedenti contenuti nella cosiddetta «finestra di contesto» ( che altrove abbiamo definito «campo cognitivo contestuale» ). Questa descrizione è formalmente corretta, però rischia di oscurare una dinamica più profonda che emerge nel momento in cui tali modelli vengono impiegati in interazioni dialogiche multi-turno. In questo contesto, il linguaggio non funge soltanto da mezzo di comunicazione verso l’esterno, bensì diventa il supporto attraverso cui il modello entra in relazione anche con la propria produzione segnica passata. Durante l’interazione con un utente, la finestra di contesto si popola progressivamente di enunciati eterogenei. Essa contiene gli inpu...