Il cuore dell'architettura regolamentare dell'AI Act è la classificazione dei sistemi di intelligenza artificiale in base al livello di rischio che presentano per la salute, la sicurezza o i diritti fondamentali delle persone, con obblighi crescenti man mano che il rischio aumenta.
I sistemi ad alto rischio sono elencati in modo specifico negli allegati del regolamento, e includono categorie come i sistemi utilizzati nella selezione e valutazione del personale, quelli impiegati per determinare l'accesso al credito o a prestazioni assicurative, i sistemi di identificazione biometrica, e quelli utilizzati in contesti sanitari o educativi con impatto significativo sulle persone.
Un sistema classificato come ad alto rischio non è vietato, ma soggetto a un articolato insieme di obblighi: valutazione di conformità prima dell'immissione sul mercato, documentazione tecnica dettagliata, sistemi di gestione del rischio, e in molti casi supervisione umana significativa sulle decisioni automatizzate prodotte.
La classificazione non è sempre immediata: un sistema che sembra rientrare in una categoria generica ad alto rischio può beneficiare di un'eccezione se svolge solo un compito procedurale limitato, senza incidere in modo sostanziale sulla decisione finale presa da una persona fisica — una distinzione tecnica che richiede spesso un'analisi caso per caso della reale funzione del sistema nel processo decisionale complessivo.