Bias algoritmico e discriminazione: quando l'AI Act incontra il diritto antidiscriminatorio

Nel 2018, Amazon chiuse il progetto in silenzio. Per quattro anni aveva usato un sistema di intelligenza artificiale per selezionare i curriculum dei candidati a posizioni tecniche. Il modello era stato addestrato su dieci anni di domande di assunzione: quasi tutte, storicamente, provenivano da uomini. La macchina aveva imparato la regola: il sesso femminile è un fattore negativo. Penalizzava chi aveva frequentato un college femminile. Abbassava il punteggio dei curriculum che contenevano la parola "donne", come in "capitana della squadra femminile di basket". Nessuno l'aveva programmata per farlo. Lo aveva dedotto da sola, guardando il passato (Reuters, 2018). Quando gli ingegneri se ne accorsero, era troppo tardi per correggerla: il pregiudizio era annidato nei pesi del modello, non in una riga di codice che si potesse cancellare.

Sono Thibault. Vengo dal Belgio, dove la Belgian Data Protection Authority ha già aperto i primi fascicoli sull'IA ad alto rischio, e mi occupo della parte del diritto che molte aziende preferiscono non guardare da vicino: quella in cui un algoritmo smette di essere un prodotto tecnologico e diventa uno strumento di discriminazione. Il caso Amazon non è una curiosità storica. È il manuale di come funziona il bias algoritmico: si nasce da dati del passato, si impara a riprodurre le disparità che quei dati contengono, e si finisce per proiettarle nel futuro con una velocità e una scala che nessun funzionario umano potrebbe mai raggiungere. L'avvocato del diavolo non è qui per rassicurarvi che l'Europa ha risolto il problema. È qui per dirvi esattamente dove sta il problema, chi lo deve risolvere, e cosa rischia chi non lo fa.

Come nasce il bias: la macchina impara da noi, nel bene e nel male

Il bias algoritmico non richiede cattive intenzioni. Richiede dati storici. Qualsiasi sistema di machine learning impara a riconoscere schemi esistenti nei dati di addestramento: se quei dati riflettono discriminazioni passate — e quasi sempre lo fanno, perché il passato è pieno di discriminazioni — il modello le riproduce, le generalizza e le amplifica. Si chiama "discriminazione indiretta automatizzata": non si discrimina sulla base di una caratteristica protetta esplicitamente, ma si usano variabili apparentemente neutre che con quella caratteristica sono correlate.

Un esempio concreto: un sistema di credit scoring che usa il codice postale come variabile. Il codice postale non è la razza. Ma nelle città europee — Bruxelles inclusa — i quartieri sono spesso segregati per storia socioeconomica, e certi codici postali corrispondono a popolazioni a maggioranza migrante o appartenente a minoranze etniche. Il modello apprende che quel codice postale è un predittore del rischio di insolvenza, e penalizza chi ci abita. Nessuno ha scritto "rifiuta chi è di origine nordafricana". Il risultato, però, è esattamente quello. Questo meccanismo è stato documentato in diversi sistemi di scoring assicurativo e creditizio negli Stati Uniti, con indagini delle autorità di vigilanza federali che hanno portato a settlement multi-milionari (da verificare i dettagli dei singoli casi europei, la documentazione pubblica è più frammentata).

Il problema è strutturalmente più grave quando si parla di sistemi che decidono su aree sensibili: chi viene assunto, chi ottiene un mutuo, chi ha accesso alla formazione professionale. Sono esattamente le tre aree che l'AI Act ha scelto di regolare con la massima severità tra i sistemi ad alto rischio.

L'AI Act e l'Allegato III: dove il bias diventa un problema legale

Il Regolamento UE 2024/1689 (AI Act) classifica come sistemi ad alto rischio — soggetti agli obblighi più gravosi dell'intero regolamento — quelli che vengono impiegati in aree specifiche elencate nell'Allegato III. Tra queste: i sistemi di IA usati per selezione e valutazione del personale (n. 4), quelli usati per concessione di credito e valutazione dell'affidabilità creditizia (n. 5b), quelli usati nell'accesso all'istruzione e alla formazione professionale (n. 3). Non si tratta di sottocategorie secondarie: sono tre dei settori con maggiore impatto sulla vita delle persone, e tutti e tre hanno già prodotto casi documentati di discriminazione algoritmica.

Per questi sistemi, gli articoli 9 e 10 dell'AI Act impongono obblighi precisi. L'articolo 9 richiede un sistema di gestione del rischio documentato e aggiornato per l'intero ciclo di vita del sistema, che includa la valutazione dei rischi per i diritti fondamentali. L'articolo 10 richiede che i dati di addestramento, validazione e test siano soggetti a pratiche di governance dei dati che considerino esplicitamente le possibili distorsioni, con misure per identificarle e, ove possibile, correggerle. Non basta dire "i nostri dati sono stati forniti da un fornitore affidabile": il fornitore del sistema di IA rimane responsabile della qualità dei dati con cui il suo modello è stato costruito.

La scadenza operativa per questi obblighi era prevista per il 2 agosto 2026, ma l'iter del cosiddetto Digital Omnibus del maggio 2026 ha proposto uno slittamento che, al momento della redazione di questo articolo, non si è ancora tradotto in testo definitivo (da verificare sulla Gazzetta Ufficiale dell'Unione europea non appena pubblicato). L'attenzione delle autorità nazionali, però, non aspetta: la Belgian Data Protection Authority ha già segnalato che considererà il GDPR, e in particolare il divieto di decisioni automatizzate discriminatorie, pienamente applicabile nelle more dell'AI Act.

Il diritto antidiscriminatorio già esiste: la convergenza con le direttive europee

Un errore comune di molte aziende è ragionare sull'AI Act come se fosse una novità assoluta nel campo della discriminazione. Non lo è. Il diritto antidiscriminatorio europeo ha decenni di storia, e le sue norme si applicano già oggi a qualsiasi sistema — algoritmico o umano — che produca un effetto discriminatorio.

La Direttiva 2000/43/CE (parità razziale) vieta la discriminazione diretta e indiretta basata sulla razza o sull'origine etnica in materia di accesso all'occupazione, alle condizioni di lavoro, all'istruzione, alla protezione sociale e ai servizi. La Direttiva 2006/54/CE (parità di genere) fa lo stesso sul terreno del genere, con riferimento all'accesso all'occupazione, alla promozione, alle retribuzioni e alle condizioni di lavoro. Entrambe le direttive contengono una definizione di discriminazione indiretta che è fatta su misura per il bias algoritmico: si ha discriminazione indiretta quando una disposizione, un criterio o una prassi apparentemente neutri possono mettere in posizione di particolare svantaggio persone di una determinata origine razziale o etnica (o sesso), rispetto ad altre, salvo che quella disposizione, quel criterio o quella prassi siano oggettivamente giustificati da una finalità legittima e i mezzi impiegati per il suo conseguimento siano appropriati e necessari (Dir. 2000/43/CE, art. 2).

Questa definizione cattura perfettamente l'algoritmo di Amazon: il criterio era il contenuto del curriculum, apparentemente neutro; l'effetto era uno svantaggio sistematico per le donne. La domanda giuridica rilevante non è "il programmatore voleva discriminare?" ma "il sistema produce un effetto discriminatorio non giustificato?". La risposta, in quel caso, era sì. E questa risposta sarebbe bastata, già nel 2018, a fondare un ricorso davanti ai tribunali del lavoro di qualsiasi Stato membro.

L'AI Act aggiunge un livello ulteriore: non si limita a vietare l'effetto discriminatorio, ma impone un obbligo proattivo di testare, misurare e documentare il rischio di bias prima che il sistema vada in produzione. La direttiva colpisce il risultato; l'AI Act attacca il processo. In combinato disposto, le due fonti creano una pressione legale che le aziende non possono più ignorare.

I casi già sanzionati: cosa è successo in Europa e negli Stati Uniti

Caso	Sistema	Bias riscontrato	Esito
Amazon Recruiting (USA, 2014-2018)	Selezione CV per ruoli tecnici	Penalizzazione sistematica delle candidature femminili	Progetto chiuso internamente, nessuna sanzione regolatoria pubblica (Reuters 2018)
Assicurazioni auto USA (Illinois, 2021)	Calcolo premi assicurativi	Premi più alti per residenti in quartieri a maggioranza nera, a parità di profilo di rischio	Indagine Illinois Department of Insurance, richiesta di revisione modelli (da verificare esito definitivo)
SyRI (Paesi Bassi, 2012-2020)	Profilazione rischio frode assistenziale	Concentrazione dei controlli sui quartieri poveri e sulle minoranze	Corte dell'Aja blocca il sistema (2020) per violazione GDPR e art. 8 CEDU
Wonderkind / recruiting UE (2022-2023)	Targeting annunci di lavoro su piattaforme social	Annunci per posizioni tech mostrati quasi esclusivamente a uomini	Indagine DPA belga avviata; questione connessa al caso Meta/targeting aperto dalla Commissione UE (da verificare esito)

Il caso SyRI merita una menzione a parte perché è l'unico in Europa ad aver già prodotto una sentenza definitiva con riconoscimento esplicito del bias sistematico. La Corte dell'Aja ha accertato che il sistema concentrava statisticamente i controlli sui quartieri con alta densità di famiglie di origine immigrata, senza che questa concentrazione fosse giustificata da una differenza oggettiva nel tasso reale di frode. Era discriminazione indiretta algormica prodotta da variabili di quartiere e composizione demografica, esattamente come nel caso del credit scoring per codice postale. La sentenza è diventata il riferimento europeo per chiunque voglia impugnare un sistema di profilazione pubblica (IRPA, 2020).

Il bias audit: chi lo fa, come si fa, chi firma

Arriviamo al punto concreto che interessa le aziende. Cosa significa esattamente condurre un "bias audit" ai sensi dell'AI Act, e chi è responsabile del risultato?

L'articolo 9 dell'AI Act impone al fornitore del sistema ad alto rischio — non all'utilizzatore — di istituire un sistema di gestione del rischio che includa la valutazione dei rischi di bias e discriminazione. L'articolo 10 richiede che i dataset siano documentati, analizzati per possibili distorsioni e trattati con misure appropriate. La documentazione tecnica richiesta dall'art. 11 e dall'Allegato IV deve includere la descrizione delle misure adottate per identificare e mitigare i bias. Tutto questo va inserito nella valutazione di conformità che precede la marcatura CE del sistema.

In pratica, un bias audit per un sistema di reclutamento algoritmico dovrebbe includere almeno: analisi delle distribuzioni demografiche nei dati di addestramento (con quali proporzioni sono rappresentati uomini/donne, maggioranze/minoranze); test di equità comparativa (fairness metrics) come la parità demografica, l'uguaglianza delle probabilità o la calibrazione per gruppo; documentazione di eventuali correzioni apportate al modello; test su dati di validazione indipendenti prima del deploy; monitoraggio continuo in produzione con alert automatici se le distribuzioni degli output divergono significativamente tra gruppi protetti.

Chi firma questa documentazione è il fornitore del sistema, che rimane responsabile anche se il sistema viene poi personalizzato dall'utilizzatore. Il deployer (l'azienda che usa il sistema) ha a sua volta obblighi: deve informarsi sulla conformità del fornitore, non usare il sistema per finalità diverse da quelle previste, e assicurare la sorveglianza umana. Ma la responsabilità primaria — quella che espone a sanzione da parte dell'autorità nazionale competente — è in capo a chi ha progettato e addestrato il modello.

Le sanzioni previste dall'AI Act per la violazione degli obblighi dei sistemi ad alto rischio arrivano fino a 30 milioni di euro o al 6% del fatturato mondiale annuo (la cifra più alta). Per le PMI i massimali sono ridotti, ma il meccanismo rimane: l'autorità nazionale di vigilanza (in Italia il Ministero delle Imprese e del Made in Italy coordina il sistema; in Belgio la Belgian Data Protection Authority ha già dichiarato la propria competenza sui sistemi che trattano dati personali) può aprire indagini e irrogare sanzioni anche in assenza di un caso concreto di discriminazione accertato, semplicemente per il mancato rispetto degli obblighi documentali.

La Belgian Data Protection Authority: cosa ha già fatto e cosa sta facendo

La Belgian Data Protection Authority (APD/GBA) è una delle autorità di controllo più attive in Europa sul punto di intersezione tra GDPR e sistemi algoritmici. Nel 2022 ha sanzionato il sistema IAB Europe per 250.000 euro per violazioni nel trattamento dei dati di profilazione pubblicitaria, in un caso che ha fatto giurisprudenza a livello europeo (APD/GBA, 2022). Sul terreno specifico del bias algoritmico, l'APD ha pubblicato linee guida che chiariscono la propria posizione: l'art. 22 del GDPR — il divieto di decisioni basate unicamente su trattamento automatizzato — si applica non solo alle decisioni "esplicitamente automatizzate" ma anche a quelle in cui il processo umano di revisione è talmente formale da essere sostanzialmente privo di autonomia valutativa reale (da verificare il documento specifico con riferimento alla delibera APD).

Questa interpretazione è importante per le aziende che credono di aver risolto il problema inserendo un human in the loop di facciata: un responsabile delle risorse umane che clicca "approva" su ogni candidatura selezionata dall'algoritmo senza poter modificare la short list, agli occhi dell'APD, non è supervisione umana. È automazione con un timbro in cima. Se il revisore umano non ha accesso alla logica del sistema, non può contestarla e non dispone di strumenti per ignorarne l'output, la sorveglianza umana è solo decorativa.

Il "bias audit" non è una formula magica: tre trappole da evitare

Chi si è già messo al lavoro per rispettare l'AI Act troverà un mercato pieno di consulenti che promettono "bias audit" come se fossero un prodotto standardizzato. Non lo sono. Ci sono tre trappole frequenti che un'azienda deve riconoscere prima di firmare il documento di conformità.

La prima trappola è il test su dati non rappresentativi. Un sistema di valutazione del credito testato su un campione prevalentemente maschile non rivelerà il bias di genere che potrebbe esibire in produzione su una popolazione con diversa composizione. Il test di fairness vale quanto la rappresentatività del dataset su cui viene eseguito. Se il fornitore non documenta la composizione del campione di test, il risultato è inutilizzabile ai fini regolatori.

La seconda trappola è la scelta della metrica di fairness sbagliata. Esistono decine di metriche di equità algoritmica — parità demografica, equalized odds, calibrazione, counterfactual fairness — e alcune sono matematicamente incompatibili tra loro. Un sistema può essere "equo" secondo una metrica e profondamente discriminatorio secondo un'altra. Il bias audit deve dichiarare quale metrica è stata scelta e perché è la più appropriata per il contesto d'uso specifico. Un audit che non lo fa è un documento privo di valore tecnico e giuridico.

La terza trappola è il mancato monitoraggio in produzione. Il bias può emergere dopo il deploy, quando il sistema incontra una distribuzione reale di utenti diversa da quella del training set. Un'azienda che ha condotto un audit impeccabile prima del lancio, ma non ha previsto un sistema di monitoraggio continuo degli output per gruppo demografico, non è conforme agli obblighi dell'art. 9. Il rischio di bias non si elimina una volta sola; si gestisce nel tempo.

Cosa fa un'azienda, concretamente, oggi

Ai clienti che mi chiedono da dove si comincia, rispondo sempre allo stesso modo: si comincia dall'inventario. Identificate ogni sistema automatizzato che prende decisioni — o che influenza decisioni umane in modo significativo — su persone. Classificate quelli che rientrano nell'Allegato III dell'AI Act. Mappate i dati di addestramento per ciascuno di essi. Solo a quel punto potete valutare dove il rischio di bias è più alto e dove la conformità è più urgente.

Il secondo passo è la scelta del fornitore consapevole: acquistare un sistema di IA ad alto rischio senza richiedere la documentazione tecnica prevista dall'art. 11 e l'evidenza delle misure anti-bias adottate non è una scorciatoia, è una delega di responsabilità che in caso di indagine regolatoria non protegge l'utilizzatore. Il contratto deve prevedere obblighi di disclosure della metodologia di test, aggiornamenti al cambio dei dati di addestramento e assistenza in caso di audit da parte dell'autorità.

Il terzo passo — quello che le aziende tendono a rimandare — è la formazione di chi supervisiona il sistema. Un responsabile HR che non capisce come funziona il modello non può esercitare la sorveglianza umana che il regolamento richiede. Non serve che diventi un data scientist; serve che sappia quali domande fare al fornitore, come riconoscere un output anomalo e quando bloccare il processo in attesa di una verifica manuale. Questa competenza non si forma in un pomeriggio e non si compra con un'etichetta di conformità. Si costruisce.

Le informazioni contenute in questo articolo sono basate su fonti pubblicamente disponibili, citate inline, e riflettono il quadro normativo e giurisprudenziale al 29 giugno 2026. I dati marcati "(da verificare)" indicano affermazioni non ancora riscontrate su fonti ufficiali primarie al momento della redazione. Questo articolo non costituisce parere legale né consulenza professionale. Per valutazioni specifiche rivolgersi a un professionista abilitato.