Si tratta di un caso specifico di una forma paradossale generale.
La forma è questa: in un contesto A arriva (si promuove, distribuisce, usa) la tecnologia x.
Qualcuno cerca di valutare l’apporto e gli effetti di x.
Solo che lo fa confrontando x con A come era prima dell’arrivo di x.
Ma A, proprio con l’uso di x, cambia velocemente e diventa A0, A1, A2… fino a B.
La valutazione di x dovrebbe tenere conto di tutti questi cambiamenti almeno possibili; invece resta legata all’A originale. E non si accorge che l’uso di x in B è completamente diverso da quello che si pensava all’inizio.
Ad esempio: l’IAG può aiutare la formazione?
Si risponde guardando la didattica di oggi, la valutazione di oggi. Come se l’IAG non modificasse il contesto ma si limitasse ad aggiungere valore. Il contesto rimane A, e a quello si aggiunge il valore dell’IAG. La risposta naturalmente è sì, può aiutare. Può aiutare il docente a preparare le lezioni e i quiz, lo studente a prepararsi a superare quei quiz studiando sulle mappe generate sulle registrazioni delle lezioni. Eccetera.
Ma il problema è che l’IAG modifica profondamente questo contesto, in termini di modalità di funzionamento ma anche di valori. La lezione e il quiz non saranno come li conosciamo ora (per fortuna). La competenza nella preparazione delle lezioni sarà sempre meno importante; lo studio mnemonico in vista dell’esame sarà sempre meno utile.
Allora la valutazione dell’impatto andrebbe fatta tenendo conto delle modifiche al contesto, non riferendosi al contesto originale, cioè a A-x.
Più chiaramente: si fa un gran parlare della necessità di insegnare agli studenti un approccio critico e consapevole per mitigare il rischio di errore insito nella natura statistica del machine learning e della generazione di risposte tramite LLM. L’utente di un servizio di IAG deve essere in grado di valutare il risultato prodotto con un prompt prima di usarlo.
Questo lo sanno fare gli esperti del dominio.
Per esempio, chiedono a Gpt 5 una sintesi delle aggravanti previsto dall’ordinamento giuridico italiano attuale per il reato di omicidio, incluse le sentenze della Corte di Cassazione. Leggono la risposta e vanno a rileggersi il codice penale, in particolare gli articoli 61, 575, 604-ter eccetera. Questo perché i contenuti della risposta sono situati ad un livello più basso della loro competenza. La risposta complessiva è comoda, veloce, fa risparmiare tempo, ma è la sostanza è qualcosa che l’esperto saprebbe trovare anche da solo.
Gli esperti di dominio sanno che esiste il codice penale, quando è stato pubblicato, quando e perché è stato modificato. Sanno cosa significa “circostanze attenuanti” e “aggravanti”.
Lo sanno perché hanno studiato in maniera tradizionale, usando il web, chiedendo ad esperti o confrontadosi con i colleghi. Sostanzialmente appoggiandosi su fonti attendibili.
Oggi – e da un bel po’ – il modo di studiare sta cambiando. Non si va a lezione se non è obbligatorio, non si fanno gruppi di studio, non si consultano altre fonti indipendenti (nemmeno digitali), perché il chatbot appoggiata su LLM risolve tutto in un solo centro. Fornisce non solo le risposte, ma anche le simulazioni delle domande, un piano di studio giornaliero, un supporto psicologico, eventualmente uno svago controllato. C’è una concentrazione che ha come scopo proprio quello di evitare di farci uscire dal tunnel della costellazione di servizi del brand (che sia Google o Microsoft o Meta). Dopo ogni risposta c’è sempre: cosa vuoi fare ora? ti propongo di approfondire, di estendere, di confrontare, insomma qualsiasi cosa ma resta cummé, numme lassà.
A forza di usare questi servizi la competenza di dominio resterà uguale? Aumenterà? Diminuirà?
Non lo sappiamo ancora. Ma siamo fiduciosi.
Sappiamo che oggi le risposte degli LLM possono essere errate, imprecise, non aggiornate? Ci appoggiamo sul “senso critico” dello studente.
Sappiamo che a seconda di chi fa la domanda e quando, e a seconda della versione dell’LLM e dal suo prezzo, la risposta cambia? Puntiamo sulla concorrenza tra fornitori perché si migliorino e alla fine ne resterà solo uno.
Sappiamo che ci sono delle deformazioni di giudizio legate ai dataset usati per l’addestramento, che si scoprono solo a posteriori (bias)? Beh, prima o poi i dataset saranno ancora più grandi e completi e equilibrati.
Sappiamo che ci sono delle censure, più o meno pubbliche? Va beh, ma noi ci occupiamo di storia romana.
Sappiamo che ci sono degli interessi privati che possono spegnere o modificare i termini d’uso di ogni singolo servizio? Ah davvero… ma pensa tu.
Ed è vero che tutto questo, quando si usa un LLM per farsi generare una canzoncina per il compleanno o un itinerario turistico, non è così grave.
Quando si usa in ambito formativo però succede qualcosa di particolare che è legato proprio all’andamento circolare dell’educazione. Se, per ipotesi, studiando giurisprudenza con GPT la competenza di dominio diminuisse invece che aumentare, o restasse ancorata su una media, diminuirebbe anche la capacità critica, intesa come capacità di verificare le risposte indipendentemente tramite la consultazione di altre fonti. La risposta sarebbe di un livello più alto della competenza di verifica di chi la riceve. Quindi l’apprendimento si farebbe su fonti di valore incerto senza la possibilità di accorgersene.
Potrebbe anche succedere che, visto che il prezzo di accesso ad un servizio di LLM è più basso di una retta universitaria, proliferino nuove università private che si limiterebbero a fornire l’accesso ad un LLM “personalizzato” e il certificato finale, ad un prezzo vantaggiosissimo. Università senza docenti, oltre che senza aule, che eroderebbero il mercato alle università più grandi e costose.
Ma potrebbe anche succedere che il valore percepito di quel certificato diminuisca, e che il ruolo delle università semplicemente svanisca, mentre la “formazione” sarebbe affidata a servizi di chatbot dedicati e ancora meno cari delle università private; i quali servizi alla fine fornirebbero un qualche attestato di competenza di nessun valore legale, ma riconosciuto internazionalmente dalle aziende anche grazie ad operazioni di lobbing dei fornitori di quei servizi, come già è per le certificazioni informatiche CISCO o Microsoft.
Guardando un po’ più in là, non ci sarebbe più la necessità di avere docenti, e quindi la domanda di formazione superiore diminuirebbe fino forse a cessare del tutto.
Di questo scenario davo una rappresentazione a veloci pennellate già nel 2021 in https://www.stefanopenge.it/wp/la-fine-della-formazione/
Insomma, il contesto formativo di domani potrebbe essere molto diverso da quello di oggi. In quel nuovo contesto potrebbe essere sempre meno possibile garantire quel senso critico e consapevolezza che oggi diamo per scontati.
Ma visto che quel senso critico viene usato come elemento fondamentale per la valutazione dell’uso dell’IAG nell’educazione siamo di fronte ad una petizione di principio. Più usiamo i servizi di IAG per la didattica, meno saremo in grado di valutarne l’adeguatezza.
Di qui il paradosso: una tecnologia applicata per migliorare la didattica produrrebbe come effetto il peggioramento dell’apprendimento.