Dalla scelta su dove costruire un ospedale, alla definizione del codice di emergenza in pronto soccorso, fino alla terapia digitale: ogni volta che si usa l’intelligenza artificiale per prendere decisioni sulla salute, in modo autonomo e senza supervisione umana, si è di fronte a un rischio altissimo.
È quanto stanno rimarcando diversi esperti che abbiamo intervistato sul tema del rischio associato all’utilizzo dell’Intelligenza Artificiale in ambito clinico e sanitario.
L’AI ACT (la bozza), appena uscito dai banchi del Parlamento Europeo, sta proseguendo il suo lungo iter verso l’approvazione, viaggiando in tutti paesi membri per raccogliere osservazioni e dialogando con la Commissione Europea.
Ne abbiamo parlato con Roberto Reale, advisor dell’Agenzia per l’Italia Digitale e all’avv. Laura Cappello, Avvocato specializzato in diritto civile – societario e in Legal Engineering.

La polemica innescata da Medtech Europe sulla classificazione ad alto rischio

Nel settore life science, Medtech Europe fu la prima mesi fa a mostrare preoccupazione riguardo il sistema su cui è basato l’AI ACT, ossia la classificazione del rischio, che implica azioni specifiche da adottare a seconda della classe di rischio in cui un prodotto o servizio rientra. Rischio basso, medio e alto comportano azioni diverse: più alto il rischio per i diritti fondamentali degli individui e per la sicurezza, più numerosi gli obblighi. Il Regolamento introduce anche l’idea di rischio non accettabile, secondo cui determinate caratteristiche di un modello di IA comporterebbero un rischio non accettabile (riconoscimento facciale e l’identificazione biometrica, manipolazione comportamentale, polizia predittiva, riconoscimento delle emozioni). Secondo i rappresentanti di Medtech Europe, c’è la possibilità che i dispositivi medici classificati non ad alto rischio nell’MDR (Il Regolamento Europeo sui Dispositivi Medici, n. 2017/745) vengano automaticamente classificati come sistemi ad alto rischio nell’AI Act, comportando oneri aggiuntivi e confusione per le aziende.

L’alto rischio dei sistemi basati sull’IA nel settore Life Science

“Un’app di IA che rientra nell’ambito sanitario comporta la forte probabilità che venga classificata ad alto rischio”, sottolinea Roberto Reale dell’Agenzia per l’Italia Digitale. “Naturalmente questo implica tutta una serie di obblighi di gestione del rischio, della qualità, di governo dei dati, di gestione e tenuta di appositi registri, di trasparenza dell’algoritmo, sicurezza del progetto, per fare alcuni esempi, oltre anche di registrazione di questi sistemi su un database europeo”.

“Con molta probabilità”, prosegue, “con AI Act i prodotti che rientrano tra i dispositivi medici e che ora sono classificati a medio rischio rientreranno nei prodotti ad alto rischio”.

“La determinazione dell’alto rischio si compone di due parti” – chiarisce l’avv. Laura Cappello – “innanzitutto un sistema è considerato ad alto rischio se costituisce una componente di sicurezza di un prodotto (o di una parte del prodotto) regolato dalle normative di armonizzazione dell’Unione Europea elencate nell’allegato II del Regolamento stesso. Tra queste è presente il Regolamento sui Dispositivi Medici, che già include una classificazione in base al rischio. Anche la seconda parte della definizione dell’alto rischio è costituita da un elenco, contenuto nell’allegato III, che include otto macro-aree in cui i sistemi di IA utilizzati si presumono di alto rischio. L’allegato II, in cui è inserito il Regolamento MDR”, prosegue Laura Cappello, “risponde a una necessità di integrare l’IA Act con la legislazione già in vigore. Quindi, sembrerebbe che tutti i prodotti elencati nel MDR finiscano per integrare l’elevato rischio previsto dal Regolamento sull’Intelligenza Artificiale”.

Cappello spiega che nella relazione della Commissione che accompagna la proposta di Regolamento è specificato che, per quanto concerne i sistemi di IA ad alto rischio che sono componenti di sicurezza dei prodotti, la proposta sarà integrata nella normativa vigente in materia di sicurezza, al fine di assicurare la coerenza, evitare duplicazioni e ridurre al minimo gli oneri aggiuntivi. In particolare, per quanto concerne i dispositivi medici, i requisiti per i sistemi di IA saranno verificati nel contesto delle procedure di valutazione di conformità già esistenti.

“Questo vuol dire che i dispositivi medici basati su sistemi di IA continueranno a essere soggetti agli stessi meccanismi di valutazione di conformità ex ante ed ex post rispetto alla loro immissione in commercio. La differenza fondamentale è che tali valutazioni dovranno garantire la conformità sia rispetto ai requisiti stabiliti dal MDR sia quelli stabiliti dal Regolamento sull’IA”.

Roberto Reale non ha dubbi: “Il problema nel caso della tecnologia medica è la necessità di armonizzarlo con l’MDR. Mi aspetto che questo passaggio sarà demandato ad una normativa secondaria“, precisa. “Anche perché, come sappiamo, l’AI ACT ha cercato di comprendere davvero tutti i settori, senza approfondire nel dettaglio ciascuno”.

Scegliere dove costruire un ospedale attraverso un’analisi di IA sarà considerato ad alto rischio, così come le terapie digitali

L’advisor dell’Agenzia per l’Italia Digitale prosegue con gli esempi di sistemi classificabili ad alto rischio: “sono ad alto rischio tutti i dispositivi che prendono decisioni automatizzate sulla base di sistemi di intelligenza artificiale. Un software in un Pronto Soccorso che in modo automatizzato individua il codice di gravità a cui un paziente deve essere associato è sicuramente ad alto rischio.” Oppure l’elaborazione di liste di priorità, o anche sistemi che aiutano la Pubblica Amministrazione ad utilizzare le proprie risorse in base ad analisi svolte dall’IA. “La decisione se costruire o meno un ospedale in una zona, anche quello sarà un sistema ad alto rischio, perché è un sistema che prende decisioni. Anche le terapie digitali potrebbero essere considerate sistemi ad alto rischio”.

La presenza umana associata all’IA mitiga il rischio

Parliamo di alto rischio anche quando facciamo training sui dati dei pazienti. “Un argomento delicato perché, come è noto, i sistemi di intelligenza artificiale vanno addestrati, perché durante questa fase essi apprendono e poi condensano la conoscenza appresa dai dati”, ammette Reale. “Il rischio è che se si tratta di dati personali dei pazienti si pone una serie di rischi elevati legati alla possibilità di de-anonimizzare i dati. C’è un filone della ricerca che si muove verso l’utilizzo di dati sintetici in ambito sanitario, cioè che simulano i dati sanitari ma che in realtà sono generati attraverso algoritmi, che non hanno rischi di de-anonimizzazione, ma che non sono comunque esenti dai rischi: prendiamo un software che assista il medico nella diagnosi, per esempio sulla base delle risposte del paziente. Siccome l’IA funziona meglio quando è accoppiata alla presenza di persone, se si affianca la presenza umana all’IA si abbassa il rischio“.

Reale fa presente che su questi sistemi si parla anche di ridurre il periodo di due anni che devono intercorrere tra l’entrata in vigore del regolamento IA e la sua attuazione. Questi obblighi per l’industria potrebbero dunque arrivare prima del previsto.

L’impostazione basata sul rischio a confronto con la velocità di evoluzione di questa tecnologia

Tra gli scettici, vi sono aziende che forniscono tecnologie basate sull’IA, come la danese “2021.AI”, che affermano come l’impostazione del regolamento basata sul rischio non possa alla lunga funzionare, per via dell’avvicendarsi continuo di nuove tecnologie e della velocità nella loro adozione. Reale, tuttavia, è convinto della scelta della Commissione: “Come è successo con il GDPR dove ci siamo resi conto che alcuni aspetti sono da migliorare, ci sarà da intervenire anche su questo regolamento, ma l’approccio con l’IA va affrontato dal punto della gestione del rischio. È importante individuare uno specifico rischio legato ad uno specifico utilizzo dell’IA”.

“L’attualità di una legge come l’AI Act è fondamentale”, sottolinea l’avvocato Cappello, “specialmente in un campo in rapida evoluzione come l’Intelligenza Artificiale. Sicuramente, l’AI Act nell’ultima proposta del Parlamento è stato concepito per essere abbastanza flessibile da rimanere attuale”. L’avvocato però avverte: è importante che tale regolamento venga costantemente rivisto e aggiornato per rispondere ai cambiamenti tecnologici e alle esigenze emergenti, in modo da fornire un quadro normativo efficace e adattabile che promuova l’innovazione e protegga i diritti e la sicurezza delle persone nel settore delle scienze della vita.