ChatGPT mostra segni di essere “pigro”

Se stai utilizzando il ChatGPT per svolgere compiti professionali, ci sono possibilità che rimarrai senza svolgerli. Giovedì scorso, il OpenAI ha rivelato sulle sue reti che stava indagando sulle notizie secondo cui lo strumento di intelligenza artificiale avrebbe iniziato a negare le richieste degli utenti, indicando che avrebbero dovuto svolgere compiti da soli o rifiutandosi categoricamente di completarli. I problemi dentro ChatGPT sono in qualche modo prevedibili, considerando che l'intelligenza artificiale può commettere errori, ma questo sarebbe un caso di a ChatGPT "stanco".

Fin dal suo lancio, il ChatGPT è stato riconosciuto come uno strumento innovativo per ottimizzare le attività lavorative. Si stima che l’intelligenza artificiale abbia guadagnato una base di utenti di 1,7 miliardi, secondo i numeri di Web simile. La sua introduzione nel mercato del lavoro è una realtà: secondo un sondaggio Reuters/Ipsos condotto in agosto, circa il 28% dei 2.625 intervistati (professionisti d'ufficio negli USA) ha rivelato di utilizzare regolarmente lo strumento nella propria attività professionale. Solo il 22% ha affermato che il proprio datore di lavoro ha autorizzato esplicitamente l’uso di questi strumenti esterni.

Segnalazioni di difficoltà con errori ChatGPT

Gli utenti esprimono insoddisfazione per le risposte insolenti del museruola, che dovrebbe semplificare i tuoi compiti. Diversi imprenditori, dirigenti tecnologici e professionisti affermano che i modelli linguistici avanzati di OpenAI, come il GPT-4, ha iniziato a rifiutarsi di rispondere a determinate richieste. Invece, danno alle persone istruzioni su come completare le attività da sole.

Un esempio di ciò si è verificato quando Matthew Wensing, fondatore di una startup, ha chiesto a GPT-4 di generare un elenco delle prossime date del calendario. Inizialmente il bot gli ha suggerito di provare a utilizzare uno strumento diverso per trovare la risposta. In un'altra occasione, quando è stato chiesto al chatbot di generare circa 50 righe di codice, la risposta includeva esempi che Wensing avrebbe potuto utilizzare come modello per completare l'attività senza l'assistenza dell'intelligenza artificiale, come condiviso da Wensing negli screenshot di X.

Su Reddit, gli utenti segnalano anche il difficile compito di ottenere il file ChatGPT rispondere in modo appropriato ai compiti assegnati, richiedendo di alternare diverse richieste fino a raggiungere la risposta desiderata. Molte lamentele si concentrano sulla capacità del ChatGPT per iscritto il codice e alcuni esprimono il desiderio che l'azienda ritorni ai modelli GPT originali. Inoltre gli utenti sottolineano che anche la qualità delle risposte sta peggiorando.

Ancora nel luglio di quest’anno, uno studio condotto da ricercatori di Stanford e UC Berkeley ha sottolineato che le capacità dell'intelligenza artificiale erano in declino. I ricercatori hanno effettuato un'analisi sistematica delle diverse versioni del file ChatGPT, sviluppando parametri di riferimento rigorosi per valutare la competenza del modello in compiti matematici, codifica e ragionamento visivo.

In una sfida matematica per identificare i numeri primi, il ChatGPT aveva una precisione del 97,6%, risolvendo correttamente 488 delle 500 domande di marzo. Tuttavia, a giugno, la precisione è scesa al 2,4%, con solo 12 domande con risposta corretta. Il calo è stato particolarmente notevole nelle competenze di codifica del software chatbot. Lo studio ha concluso che, per GPT-4, la percentuale di risposte direttamente eseguibili è scesa dal 52% di marzo al 10% di giugno, senza l’uso di plugin di interpretazione del codice.

Cosa spiega i problemi di ChatGPT?

In diversi thread su Reddit e persino nei post sui forum degli sviluppatori dell'azienda OpenAI, gli utenti hanno espresso insoddisfazione, segnalando che il sistema era diventato meno utile. Inoltre, si ipotizzava che questo cambiamento fosse intenzionale da parte del OpenAI, con l'obiettivo di risparmiare sforzi e risorse finanziarie negli investimenti nel ChatGPT.

Ciò è dovuto al fatto che, anche se il risultato è solo pochi paragrafi di testo, fornire risposte più estese richiede una maggiore quantità di ricerca, che consuma più potenza di calcolo. Il funzionamento di questi sistemi è considerato costoso per le aziende che li possiedono.

Mentre l’apparente stanchezza dell’intelligenza artificiale persiste, gli utenti hanno scoperto i propri modi per ripristinare il normale funzionamento della piattaforma attraverso istruzioni specifiche. È interessante notare che, chiedendo al ChatGPT “fare un respiro profondo” e le istruzioni che forniscono solo risposte complete e accurate sembrano essere efficaci.

Sono state menzionate anche altre richieste come mezzo per indirizzare l'IA verso un formato più assertivo. Richiedi, ad esempio, che il ChatGPT rispondi solo se conosci l'argomento o chiedi loro di fare domande aggiuntive per comprendere il contesto, aiuta a migliorare le risposte. Lo stesso vale per richiedere spiegazioni passo passo o istruire il sistema a evitare la token economy nella generazione dei risultati.

Sebbene OpenAI non abbia confermato che tali suggerimenti risolvano il problema, le segnalazioni degli stessi utenti sui social media indicano che potrebbero essere efficaci. Nel frattempo non ci resta che attendere il prossimo aggiornamento del modello AI che porti una soluzione definitiva al problema. ChatGPT con pigrizia.

Cosa dice OpenAI di "ChatGPT stanco"

Dopo aver attraversato una recente crisi con il diritto a “sedie musicali” che coinvolgono il suo CEO, Sam Altamn OpenAI, attraverso l'account ChatGPT su X, ha annunciato che sta cercando feedback sul suo modello che sembra "diventare più pigro". L'azienda ha chiarito di non aver aggiornato il modello dall'11 novembre e ha precisato che ciò non era intenzionale:

Abbiamo ascoltato tutti i tuoi commenti sul fatto che GPT4 sta diventando sempre più pigro! Non aggiorniamo il modello dall'11 novembre e questo non è certamente intenzionale. Il comportamento del modello può essere imprevedibile e stiamo cercando di risolvere questo problema

Sebbene alcuni dipendenti abbiano attribuito alcuni dei problemi a un bug del software, il ApriASabato ho riferito che continua a indagare sui reclami degli utenti. In un altro post online, l’azienda ha spiegato che la formazione dei modelli di chat non è un processo industriale pulito. Vedi la dichiarazione:

La formazione dei modelli di chat non è un processo industriale pulito. Esecuzioni di formazione diverse, anche utilizzando gli stessi set di dati, possono produrre modelli notevolmente diversi in termini di personalità, stile di scrittura, comportamento di rinuncia, prestazioni di valutazione e persino pregiudizi politici. Quando lanciamo un nuovo modello, eseguiamo test approfonditi sia sui parametri di valutazione offline che sui test A/B online. Dopo aver ricevuto tutti questi risultati, proviamo a prendere una decisione basata sui dati per stabilire se il nuovo modello rappresenta un miglioramento rispetto a quello precedente per gli utenti reali.

Questo processo non assomiglia tanto all'aggiornamento di un sito web con una nuova funzionalità quanto piuttosto a uno sforzo artigianale da parte di più persone per pianificare, creare e valutare un nuovo modello di chat con un nuovo comportamento! Cerchiamo sempre di rendere i nostri modelli più capaci e utili per tutti in milioni di casi d'uso. Quindi, per favore, continuate ad arrivare con i commenti! Questo ci aiuta a rimanere consapevoli di questo problema di valutazione dinamica.

L'analogia utilizzata è che questo processo è meno simile all'aggiornamento di un sito web con una nuova funzionalità e più simile a uno sforzo artigianale che coinvolge più persone per pianificare, creare e valutare un nuovo modello di chat con comportamenti diversi. È stato lanciato un appello agli utenti affinché continuino a fornire feedback, poiché ciò può aiutare l'azienda ad affrontare le sfide legate alla valutazione dei suoi modelli.

Vedi anche:

Fonti: Business Insider, Competenza e TechRadar

Recensito da Glaucone Vitale il 12/12/23.