Dentro gli LLM: come pensa ChatGPT

A chiunque venga chiesto come ChatGPT, l'agente di intelligenza artificiale più diffuso al giorno d'oggi, molti avranno la risposta sulla punta della lingua: intelligenza artificiale. Ma la risposta è molto vaga. Pur essendo uno dei campi di studio con la maggiore ricerca e sviluppo nell'informatica odierna, l'intelligenza artificiale abbraccia diversi temi scientifici.

Una di queste è la chiave del funzionamento di ChatGPT e della maggior parte degli agenti di intelligenza artificiale disponibili sul web: gli LLM. In questo articolo esploreremo nel dettaglio come questo concetto ha rivoluzionato l'intelligenza artificiale e il nostro mondo.

Cosa sono i Large Language Models (LLM)?

Grandi modelli linguistici (LLM, Large Language Models, in portoghese) sono algoritmi per Deep Learning (Deep Learning, in portoghese) in grado di svolgere una serie di compiti Elaborazione del linguaggio naturale (Elaborazione del linguaggio naturale, in portoghese). Uffa, quanti acronimi, vero?

Gli LLM utilizzano modelli di trasformatori e vengono addestrati utilizzando enormi set di dati. Alcuni esempi di set di dati popolari sono: LAION-2B-it, CCAW e Wikitext-103. Un modello di trasformatore può sembrare un robot che si trasforma in un'auto, ma nel campo dell'intelligenza artificiale è l'architettura più comune per un LLM.

Il trasformatore è costituito da un codificatore (codificatore, in portoghese) e un decoder (decoder, in portoghese). In pratica, il codificatore è responsabile della separazione delle parole di una frase o di un testo in piccole parti chiamate token, mentre il decodificatore esegue operazioni matematiche per identificare le relazioni tra questi token.

La grande differenza tra i trasformatori e l'architettura utilizzata anni fa, LSTM (Memoria a lungo termine, o memoria a lungo e breve termine), è che i trasformatori funzionano con meccanismi di autoattenzione, cioè sono in grado di apprendere più velocemente quando considerano parti di una frase o persino il suo contesto, per generare previsioni.

Gli LLM sono sistemi di intelligenza artificiale versatili che, oltre a essere in grado di elaborare il linguaggio umano, possono anche svolgere altri compiti, come l'analisi delle strutture proteiche e la generazione di codice di programmazione. Per funzionare in modo efficiente, gli LLM necessitano di una formazione preliminare e di un'attenta messa a punto per gestire funzioni quali la classificazione del testo, la sintesi e la risposta alle domande, il che li rende preziosi per settori quali sanità, finanza e intrattenimento.

Componenti chiave

Gli LLM sono composti da più strati di reti neurali. In una rete neurale (Rete neurale, in inglese), in pratica una variabile viene utilizzata come input, elaborata con pesi diversi ed equazioni matematiche da uno o più livelli e viene generato un valore di output.

Il primo tipo di rete neurale presente negli LLM è lo strato di incorporamento (strato di incorporamento, in inglese). È responsabile del processo di incorporamento, catturando la semantica e il significato sintattico dell'input, in modo che il modello possa comprendere il contesto.

Abbiamo poi il livello feedforward (FFN, Feedforward Network, in inglese) che è composto da più livelli interconnessi che trasformano gli input di incorporamento. In questo processo, questi livelli consentono al modello di raccogliere astrazioni di livello superiore, vale a dire comprendere l'intento dell'utente con l'input di testo.

Poi abbiamo il livello ricorrente che interpreta in sequenza le parole nel testo di input. È responsabile della cattura della relazione tra le parole in una frase.

Ultimo ma non meno importante, abbiamo il meccanismo dell'attenzione che consente all'LLM di concentrarsi su singole parti del testo di input rilevanti per il compito assegnato. Questo livello consente al modello di generare gli output più appropriati e accurati.

come funzionano

Ora che sappiamo cosa sono gli LLM e quali sono i loro componenti principali, possiamo comprendere più chiaramente come funzionano. In pratica, gli LLM basati su trasformatori prendono un input, lo codificano e poi lo decodificano per produrre un output previsto. Tuttavia, prima che un LLM possa accettare un input di testo e generare un output previsto, necessita di addestramento per svolgere funzioni generali e di messa a punto per consentirgli di svolgere attività specifiche.

Pre-allenamento (Pre-allenamento, in inglese) è un processo classico nel campo della Apprendimento automatico (machine Learning, in inglese) nell'ambito dell'intelligenza artificiale. Questo processo, come suggerisce il nome, consiste nel pre-addestramento degli LLM utilizzando grandi set di dati testuali di trilioni di parole da siti web come wikipedia, GitHub, tra gli altri. Dopotutto, un laureato in giurisprudenza deve pur imparare da qualche parte, ad esempio da un bambino piccolo, giusto?

Durante questa fase, l'LLM esegue il cosiddetto apprendimento non supervisionato (Apprendimento senza supervisione, in inglese) – un processo in cui i set di dati vengono semplicemente letti senza istruzioni specifiche di manipolazione. In altre parole, senza un “istruttore”, l’algoritmo di intelligenza artificiale dell’LLM è responsabile dell’apprendimento del significato di ogni parola e delle relazioni tra di esse. Inoltre, l'LLM impara anche a distinguere le parole in base al contesto. Ad esempio, impara a capire se "destra" significa "corretto" o è semplicemente "l'opposto di sinistra".

Ora il processo di messa a punto (Ritocchi, in inglese) serve ad “adattare” con precisione l’LLM per svolgere in modo efficiente compiti specifici, come la traduzione di testi, ottimizzandone le prestazioni. L'adattamento dei prompt (domande e istruzioni fornite all'LLM) funziona come una sorta di messa a punto fine, in quanto è in grado di addestrare il modello a svolgere un determinato compito.

Affinché un modello linguistico di grandi dimensioni possa svolgere un compito specifico, come la traduzione, deve essere adattato a quel compito specifico. La messa a punto precisa ottimizza le prestazioni per attività specifiche.

La messa a punto dei prompt svolge una funzione simile alla messa a punto fine, ovvero addestrare un modello a svolgere un'attività specifica tramite prompt con poche prove o prompt con zero prove. Di seguito è riportato un esempio di un esercizio di "analisi del sentimento" che utilizza un prompt di poche inquadrature:

Texto de entrada: Essa casa é linda!
Sentimento da frase: Positivo

Texto de entrada: Essa casa é horrível!
Sentimento da frase: Negativo

Sulla base dei risultati ottenuti in questo esempio, LLM capirebbe, attraverso il significato semantico di “orribile” e perché è stato fornito un esempio opposto, che il sentimento dell’utente nel secondo esempio è “negativo”.

Scenari di utilizzo

Come accennato in precedenza, gli LLM possono essere utilizzati per diversi scopi:

• Recupero delle informazioni: In questo caso possiamo immaginare il suo utilizzo nei motori di ricerca web, come Google o Bing. Quando un utente utilizza la funzione di ricerca di questi servizi, utilizza gli LLM per produrre informazioni sotto forma di risposta alla sua richiesta. Gli LLM sono in grado di recuperare informazioni, riassumerle e comunicare la risposta sotto forma di conversazione con l'utente.
• Generazione di testo e codice di programmazione: Gli LLM sono il principale "motore" dietro l'intelligenza artificiale generativa come ChatGPT e possono generare testo e codice di programmazione in base a input e prompt. Ad esempio, chatGPT è in grado di comprendere schemi e può rispondere in modo efficiente alle richieste degli utenti come "scrivi una poesia sui fiori nello stile di Manuel Bandeira" o "scrivi un codice Python in grado di ordinare un elenco di film in ordine alfabetico".
• Chatbot e IA conversazionali: Gli LLM sono già in grado di offrire assistenza clienti tramite agenti chatbot che dialogano con i consumatori, interpretano il significato delle loro domande e preoccupazioni e offrono risposte o indicazioni appropriate.

Oltre a questi scenari di utilizzo, gli LLM si stanno rivelando uno strumento di intelligenza artificiale promettente nei settori della tecnologia, della salute e della scienza, del marketing, del diritto e anche per l'impiego nei sistemi bancari. Per darvi un'idea, gli LLM sono attualmente in grado di prevedere con un alto grado di accuratezza il comparsa del cancro al seno semplicemente analizzando serie di campioni di cellule con un livello di accuratezza più elevato rispetto a molti clinici esperti.

LLM e Trasformatore Generativo Pre-Addestrato (GPT)

O Trasformatore generativo pre-addestrato (GPT) è un tipo specifico di LLM che utilizza un'architettura di trasformatore ed è stato sviluppato dalla società OpenAI. È progettato per comprendere, generare e manipolare il linguaggio naturale (come il portoghese o l'inglese) in modo altamente efficiente e realistico.

Analizzando il nome, possiamo capire meglio cos'è un GPT:

• Generativo (Generativo, in portoghese): indica che il modello genera testo, cioè è in grado di produrre nuove frasi, risposte, riassunti, codici, ecc.
• Pre-addestrato (Pre-addestrato, in portoghese): Ciò significa che è pre-addestrato su una grande quantità di testo proveniente da Internet, come libri, articoli, siti web e altro. Può quindi essere adattato a compiti specifici.
• trasformatore: Come accennato in precedenza, questa è l'architettura della rete neurale che costituisce la base del modello. È altamente parallelizzabile (può eseguire più attività simultaneamente) ed è efficiente nella gestione di lunghe sequenze di testo.

La grande differenza tra GPT e gli altri LLM è la sua fase formativa, che consiste in 3 processi diversi:

• Pre-allenamento: Enormi quantità di dati vengono estratte da Internet, dai libri e persino da video e musica, per poi essere elaborate in token.
• Istruzioni per la messa a punto: Qui al modello viene “insegnato” come dovrebbe rispondere a istruzioni specifiche, allineando le sue risposte in modo che siano più precise.
• Apprendimento tramite rinforzo tramite feedback umano: simile al fine-tuning, qui l'"insegnamento" avviene tramite feedback umano che induce il processo di "apprendimento per rinforzo", dove l'IA impara cosa è "giusto" e cosa è "sbagliato" attraverso ripetizioni e informazioni fornite da un agente esterno, in questo caso l'utente che utilizza l'IA.

Storia: da miliardi di parole a testi complessi

Sebbene il boom dei modelli linguistici si sia verificato solo nel 2017, fin dal 1990 i modelli di allineamento di IBM sono stati pionieri nella modellazione statistica del linguaggio. Nel 2001, un modello addestrato su 3 milioni di parole ha raggiunto l'obiettivo "stato dell'arte" in termini di accuratezza nell'interpretazione dei testi e nella costruzione di frasi coerenti.

Dal 2012 in poi Reti neurali ha acquisito sempre maggiore importanza nel mondo dell'intelligenza artificiale e ha presto iniziato a essere utilizzato per compiti linguistici. Nel 2016, Google ha adottato il Traduzione automatica neurale (Neural Machine Translation, in portoghese) utilizzando modelli basati su questo concetto. Nel 2018, la società OpenAI si è impegnata a fondo nello sviluppo di agenti di intelligenza artificiale basati su LLM e ha lanciato GPT-1 per i test; solo l'anno successivo GPT-2 ha iniziato ad attirare l'attenzione del pubblico a causa dei suoi potenziali usi non etici.

Nel 2020 il GPT-3 è arrivato con accesso limitato solo tramite API, ma è stato solo nel 2022 che ChatGPT (l'agente di intelligenza artificiale "potenziato" da GPT-3) ha catturato l'attenzione del pubblico di tutto il mondo.
Il lancio del GPT-4 è previsto per il 2023 con capacità multimodali, anche se i dettagli tecnici non sono ancora stati resi noti. Nel 2024, OpenAI ha lanciato il modello o1, focalizzato sulla generazione di lunghe catene di ragionamento. Questi strumenti hanno favorito l'ampia adozione degli LLM in diversi campi di ricerca.

A partire dal 2024, tutti i LLM più grandi ed efficienti si basano sull'architettura del trasformatore, con alcuni ricercatori che sperimentano e testano altre architetture, come Reti neurali ricorrenti (Reti neurali ricorrenti, in portoghese).

I vantaggi e i limiti degli LLM

Grazie alla loro ampia gamma di applicazioni, gli LLM risultano estremamente utili per la risoluzione dei problemi, in quanto forniscono informazioni in uno stile chiaro e semplice, facilmente comprensibile per gli utenti. Inoltre, possono essere utilizzati per la traduzione di testi, il completamento di frasi, l'analisi dei sentimenti, le risposte a domande, le equazioni matematiche e altro ancora.

Le prestazioni degli LLM migliorano costantemente man mano che vengono aggiunti più dati e parametri. In altre parole, più impari, più diventi bravo. Inoltre, i modelli linguistici di grandi dimensioni possono mostrare ciò che viene chiamato "apprendimento nel contesto". Una volta pre-addestrato un LLM, il prompt a pochi scatti consente al modello di apprendere dal prompt senza parametri aggiuntivi. In questo modo, impara continuamente.

Grazie alla dimostrazione dell'apprendimento nel contesto, gli LLM apprendono rapidamente perché non necessitano di ulteriore peso, risorse e parametri per la formazione. Sono veloci nel senso che non hanno bisogno di molti esempi per diventare più “intelligenti”.

Una caratteristica fondamentale degli LLM è la loro capacità di rispondere a domande imprevedibili. Ad esempio, un programma per computer tradizionale riceve i comandi nella sua sintassi accettata o da un insieme specificato di input dell'utente. D'altro canto, un LLM è in grado di rispondere al linguaggio umano naturale e di utilizzare l'analisi dei dati per rispondere a una domanda o a una richiesta non strutturata in un modo che abbia senso. Mentre un tipico programma per computer non riconoscerebbe un messaggio del tipo "Quali sono i cinque più grandi gruppi rock della storia?", un LLM potrebbe rispondere con un elenco di cinque di questi gruppi e una motivazione abbastanza convincente del perché siano i migliori.

Tuttavia, per quanto riguarda le informazioni che forniscono, gli LLM possono essere affidabili solo nella misura in cui lo sono i dati che ricevono. Se ricevono informazioni false nella fase di pre-formazione, forniranno informazioni false in risposta alle domande degli utenti. A volte gli LLM possono anche avere delle "allucinazioni" creando risposte e persino false fonti letterarie quando non sono in grado di produrre una risposta accurata.

Ad esempio, nel 2022, l'agenzia di stampa Fast Company ha chiesto a ChatGPT informazioni sul trimestre finanziario precedente dell'azienda Tesla. Sebbene ChatGPT abbia fornito un articolo di notizie coerente in risposta, molte delle informazioni in esso contenute erano inventate. Trattandosi di un sistema basato sull'intelligenza artificiale, è noto che è in continuo miglioramento, ma è ancora sbagliato fidarsi al 100% delle risposte prodotte dagli LLM.

In termini di sicurezza, le applicazioni rivolte all'utente basate su LLM sono soggette a bug tanto quanto qualsiasi altra applicazione. Gli LLM possono anche essere manipolati tramite input malevoli per fornire determinati tipi di risposte rispetto ad altre, comprese risposte pericolose o non etiche.

Infine, uno dei problemi di sicurezza degli LLM è che gli utenti possono caricare dati sicuri e riservati per aumentare la propria produttività. Tuttavia, gli LLM utilizzano gli input ricevuti per addestrare ulteriormente i propri modelli e non sono progettati per essere delle casseforti sicure, in quanto possono esporre dati sensibili in risposta alle query di altri utenti.

Gli LLM e l'intelligenza dietro le parole

Come un bambino lasciato libero in una gigantesca biblioteca, gli LLM sono sistemi di intelligenza artificiale intelligenti che imparano a comprendere e riprodurre il linguaggio umano naturale basandosi su enormi quantità di dati. Pur offrendo numerosi vantaggi agli utenti comuni e diventando un potente strumento ausiliario in ambito professionale, le capacità e i pericoli degli LLM devono ancora essere studiati molto attentamente.

E tu, cosa ne pensi della spiegazione contenuta in questo articolo sugli LLM? Lascia la tua opinione nei commenti.

Scopri di più

I migliori prompt AI da utilizzare al lavoro

Fonti: ElasticSearch, nuvola Fare, IBM

Recensito da Tiago Rodriguez il 16/04/2025