Il Garante per la protezione dei dati personali ha comminato una sanzione di 5 milioni di euro alla società statunitense Luka Inc., gestore del chatbot Replika.
L’Autorità ha inoltre aperto un’istruttoria approfondita per verificare la correttezza del trattamento dei dati personali effettuato dal sistema di intelligenza artificiale alla base del servizio.
Il chatbot, noto per permettere agli utenti di creare un “amico virtuale” con ruoli che vanno da confidente a terapista, è al centro di preoccupazioni legate alla privacy e alla tutela dei dati, soprattutto per quanto riguarda la verifica dell’età degli utenti e la trasparenza nelle operazioni di trattamento.
Indice degli argomenti
Il contesto
Il procedimento avviato dal Garante per la protezione dei dati personali nasce da un’istruttoria d’ufficio, scaturita a seguito di notizie stampa e di accertamenti preliminari sul servizio Replika, un chatbot con interfaccia scritta e vocale sviluppato e gestito dalla società statunitense Luka Inc.
Basato su un sistema di intelligenza artificiale generativa, il caso ha evidenziato diverse criticità legate al trattamento dei dati personali e alla tutela della privacy degli utenti. In particolare, il Garante ha ritenuto necessario intervenire per verificare la conformità del servizio alle normative europee sulla protezione dei dati, a causa di problematiche riguardanti la trasparenza, le basi giuridiche del trattamento e la tutela dei minori, considerati particolarmente vulnerabili.
Cos’è Replika: un chatbot per amico
Replika è un chatbot progettato per migliorare il benessere emotivo degli utenti, aiutandoli a comprendere i propri pensieri e sentimenti, monitorare l’umore, gestire lo stress e lavorare su obiettivi di crescita personale.
Gli utenti possono configurare il “compagno virtuale” in diversi ruoli, tra cui amico, terapista, partner romantico o mentore.
Il servizio si basa su un sistema di intelligenza artificiale generativa, in particolare su un Large language model (Llm), un modello probabilistico di linguaggio naturale che si perfeziona continuamente attraverso l’interazione con gli utenti.
Questo tipo di intelligenza artificiale utilizza algoritmi neurali per creare contenuti originali in risposta ai prompt degli utenti, spaziando dalla generazione di testi alla produzione di immagini, suoni e video.
Rispondere al bisogno di connessione: ansia sociale, solitudine e vuoto interiore
Il successo di piattaforme come Replika va interpretato nel più ampio contesto dei cambiamenti sociali e culturali che caratterizzano la contemporaneità.
L’ansia sociale, la solitudine, l’incapacità di sopportare un fallimento e un diffuso senso di vuoto interiore riflettono non solo fragilità psicologiche individuali, ma anche dinamiche più ampie di disconnessione e alienazione nel tessuto sociale.
In questo scenario, l’interazione con un chatbot che offre ascolto incondizionato e la possibilità di esprimere liberamente i propri pensieri e sentimenti si configura come una risposta a un bisogno profondo di relazione e riconoscimento, una forma di “connessione mediata” che può risultare meno e più accessibile rispetto alle complesse interazioni umane reali.
Parallelamente, emerge una nuova forma di consapevolezza e, talvolta, di inquietudine legata alla natura stessa della comunicazione digitale: la permanenza indelebile delle tracce lasciate nella rete.
Questo fenomeno apre una dimensione antropologica e psicologica complessa, in cui la memoria digitale non solo mette in discussione la privacy e il controllo sui dati personali, ma influisce anche sulla costruzione e sulla percezione dell’identità, intrecciando passato e presente in un flusso continuo e permanente.
Uno spazio sicuro e le implicazioni normative
La rete e i social network potrebbero teoricamente rappresentare spazi ideali per esprimere liberamente i propri pensieri e la propria identità.
Tuttavia, la consapevolezza della natura pubblica e indelebile di queste piattaforme induce molti utenti a limitare ciò che condividono, temendo giudizio, esposizione o conseguenze future.
In questo contesto, chatbot come Replika si presentano come un’alternativa apparentemente più “privata” e sicura, un luogo dove poter aprirsi senza timore di un pubblico vasto e permanente.
Tuttavia, questa percezione di riservatezza è parziale: il dato digitale resta soggetto a raccolta, sollevando ulteriori questioni riguardo alla reale tutela della privacy e al rischio di una falsa illusione di sicurezza.
Violazione del principio di granularità
Dal punto di vista giuridico, la contestazione del Garante riflette un’applicazione rigorosa del Gdpr, che impone alle aziende di garantire trasparenza e specificità nel trattamento dei dati personali degli utenti.
In particolare, l’articolo 6 del Gdpr stabilisce che ogni trattamento di dati personali deve poggiare su una base giuridica chiara, precisa e specifica.
Il Garante ha quindi contestato a Luka la mancata individuazione granulare — cioè dettagliata e distinta per ciascuna operazione di trattamento — delle basi giuridiche utilizzate nell’ambito del servizio Replika, disponibile in Italia fino al 2 febbraio 2023.
In altre parole, Luka ha fornito indicazioni generiche e insufficientemente dettagliate circa le basi legali che giustificano le diverse attività di trattamento, in particolare quelle relative allo sviluppo del modello di LLM sotteso al chatbot.
Il principio di granularità, infatti, richiede che il titolare del trattamento specifichi e comunichi in modo trasparente le basi giuridiche applicate per ciascuna finalità e operazione di trattamento, evitando formulazioni vaghe o omnicomprensive che non permettono all’interessato di comprendere chiaramente come e perché i suoi dati vengono utilizzati.
Le successive integrazioni fornite da Luka — come la privacy policy aggiornata e la valutazione d’impatto sulla protezione dei dati (Dpia) — non hanno risolto i rilievi dell’Autorità, in quanto non hanno fornito una data certa precedente al 2 febbraio 2023 che attesti l’individuazione preventiva e specifica delle basi giuridiche.
Legittimo interesse
Inoltre, la Dpia ha indicato il “legittimo interesse” come possibile base giuridica per lo sviluppo del modello senza però documentare il necessario “legitimate interest assessment” (triplice test), indispensabile per valutare l’effettiva liceità del trattamento sotto tale fondamento.
L’Autorità ha quindi rilevato una violazione dei principi di liceità, correttezza e trasparenza sanciti dagli articoli 5, paragrafo 1, lettera a) e 6 del Gdpr, sottolineando la gravità e l’impatto della violazione, in quanto legata a una tecnologia innovativa come l’intelligenza artificiale generativa. I
nfine, si riserva di approfondire ulteriormente la questione con una nuova istruttoria specifica riguardante l’intero ciclo di vita del sistema AI implementato da Luka.
A seguito della contestazione della mancanza di granularità nelle basi giuridiche, il Garante ha rilevato anche carenze significative nella trasparenza delle informazioni rese agli utenti.
Violazione del principio di trasparenza
Il Garante per la protezione dei dati personali ha contestato anche la violazione delle norme sulla trasparenza previste dal Gdpr, in particolare degli articoli 5, 12 e 13.
Infatti, la privacy policy del servizio non rispettava diversi obblighi fondamentali: era scritta solo in inglese, non spiegava chiaramente perché venivano raccolti i dati, quali dativenivano trattati, per quanto tempo venivano conservati, né se venivano trasferiti all’estero.
Anche i contenuti risultavano poco chiari. Non veniva spiegato, per esempio, che Replika era destinato solo a utenti maggiorenni, lasciando ambiguità sull’uso da parte di adolescenti.
Inoltre, la policy lasciava intendere che potessero esserci decisioni automatizzate sui dati personali, mentre in realtà – come ammesso successivamente dalla stessa azienda – non era così.
Principio di trasparenza
Per l’Autorità, queste mancanze non sono solo formali: il principio di trasparenza è un pilastro della normativa europea sulla privacy. E in questo caso si parla di un servizio basato su tecnologie innovative e delicate come l’intelligenza artificiale generativa, che richiedono ancora maggiore attenzione nella gestione dei dati.
Luka ha poi aggiornato la propria privacy policy nel febbraio 2024, correggendo alcune delle carenze. Ma restano criticità: il documento continua a essere disponibile solo in inglese, non indica chiaramente quanto tempo vengono conservati i dati, e contiene ancora frasi ambigue sul possibile trasferimento delle informazioni personali negli Stati Uniti.
La verifica dell’età
Il Garante Privacy ha contestato anche gravi carenze nel verificare l’età degli utenti, violando così diversi articoli del Gdpr, tra cui i principi di minimizzazione dei dati e di protezione fin dalla progettazione.
Fino al 2 febbraio 2023, chiunque poteva registrarsi al servizio Replika semplicemente inserendo nome, email e genere, senza alcun controllo sull’età reale.
Il sistema non prevedeva né una verifica al momento dell’iscrizione né un blocco automatico in caso di dichiarazioni che facessero capire che l’utente fosse minorenne.
Il risultato è che anche ragazzi sotto i 18 anni – e potenzialmente molto più giovani – potevano accedere liberamente al chatbot, esponendosi a contenuti inadatti, anche di tipo sessualmente esplicito.
Il Garante ha sottolineato che la mancanza di meccanismi di verifica dell’età rappresenta una violazione non solo del principio di minimizzazione (trattamento di dati solo quando davvero necessari), ma anche degli obblighi di protezione verso i soggetti vulnerabili, come i minori.
Le linee guida europee chiedono infatti che le aziende integrino misure efficaci per tutelare i dati e i diritti delle persone fin dalla progettazione dei servizi.
Luka, invece, ha trascurato completamente questo aspetto.
Age gate
Solo dopo l’intervento d’urgenza dell’Autorità, Luka ha introdotto un sistema di “age gate” per impedire l’accesso ai minori.
Questo include un breve periodo di attesa (cooling-off period) per evitare che gli utenti inseriscano una data falsa subito dopo un primo tentativo fallito.
Inoltre, l’azienda ha annunciato lo sviluppo di un sistema basato sull’analisi del linguaggio per riconoscere chi mente sulla propria età.
Misure deboli
Tuttavia le verifiche tecniche successive hanno mostrato che queste misure sono ancora deboli. Per esempio, dopo l’iscrizione è possibile cambiare la propria data di nascita senza alcun controllo.
Inoltre, se si naviga in incognito o si usa un’email diversa (anche falsa), si può aggirare facilmente il blocco.
Solo in rari casi – quando un utente dichiara apertamente di essere minorenne – l’app chiede una conferma sull’età.
Secondo il Garante, nonostante la mancanza di uno standard europeo univoco per la verifica dell’età, Luka avrebbe comunque dovuto adottare misure adeguate per valutare i rischi e tutelare i minori.
La mancata protezione ha esposto utenti giovani a contenuti potenzialmente dannosi, come dimostrato anche da segnalazioni di episodi autolesionistici legati all’uso del chatbot.
Per questi motivi, l’Autorità ha ritenuto violati gli articoli 5, 24 e 25 del Gdpr, che impongono l’adozione di misure preventive, tecniche e organizzative, a tutela dei dati personali e dei diritti fondamentali delle persone, in particolare dei minori.
Una distanza sistemica fra Ue e Usa
Il provvedimento emesso dal Garante italiano nei confronti della società Luka, con sede negli Stati Uniti, si inserisce in un contesto giuridico e geopolitico ampio e complesso, segnato da profonde differenze tra l’approccio europeo e quello statunitense in materia di protezione dei dati personali.
Mentre l’Unione europea si fonda su un modello normativo rigoroso e basato sul diritto fondamentale alla protezione dei dati personali (art. 8 della Carta dei diritti fondamentali dell’Ue), gli Usa adottano un sistema più frammentato, caratterizzato da logiche di autoregolamentazione e tutela ex post.
La sanzione inflitta dal Garante non solo testimonia la portata extraterritoriale del Gdpr, ma ribadisce anche l’ambizione europea di affermare la propria sovranità regolatoria nel contesto digitale globale, influenzando attori internazionali, anche quando operano fuori dal territorio Ue.
Un esempio di normative power
In questo senso, il provvedimento rappresenta un esempio concreto del ruolo di “normative power” che l’Unione intende esercitare nel panorama globale della regolazione tecnologica, riaffermando il primato dei diritti fondamentali della persona anche nei confronti di soggetti extraeuropei.
Tuttavia, tale asimmetria sistemica pone interrogativi significativi circa la cooperazione internazionale e l’effettività delle sanzioni amministrative irrogate a soggetti extra UE.
Il divario tra Ue e Usa
L’adozione, nel luglio 2023, del Data Privacy Framework tra Unione Europea e Usa rappresenta un tentativo di ridurre questo divario, introducendo nuovi meccanismi di tutela e certificazione per il trasferimento transatlantico dei dati.
Il nuovo accordo, che succede ai precedenti Safe Harbor e Privacy Shield – entrambi invalidati dalla Corte di giustizia dell’Unione europea con le sentenze Schrems I (C-
362/14) e Schrems II (C-311/18) –, mira a garantire un livello adeguato di protezione per i dati personali trasferiti oltreoceano, introducendo meccanismi di certificazione per le imprese statunitensi aderenti e forme di tutela più solide per gli interessati europei.
Prospettive future
Nonostante ciò, il caso Replika dimostra che permangono distanze profonde tra i due modelli di governance dei dati, evidenziando come la sfida europea non sia solo negoziare accordi bilaterali, ma soprattutto far rispettare concretamente i propri standard e valori nel contesto digitale globale.
