Nyt forskningsprojekt vil hjælpe med at forebygge diskriminerende algoritmer i sundhedsvæsnet

I de senere år er man i sundhedsvæsnet begyndt at anvende kunstig intelligens (Artificial Intelligence, AI) som såkaldte beslutningsstøttesystemer. Flere og flere læger bruger AI-systemer som støtte, når de skal beslutte, hvilke patienter der har behov for længere behandling, og når de skal træffe valg om specifikke behandlinger, for eksempel til kræftpatienter. Men nu gør flere forskere opmærksomme på, at der er en risiko for, at medicinske AI-løsninger kan være diskriminerende, hvilket kan have alvorlige konsekvenser for patienternes liv.

- Datadrevne sundhedsløsninger kan være en stor hjælp, men vi er nødt til at være meget bevidste om, hvordan vi designer dem. Nylige undersøgelser har vist, at et amerikansk AI-system var stærkt diskriminerende, og derfor spekulerer vi på, om algoritmer, der bruges i det danske sundhedsvæsen, også kan være det. Vi vil derfor gerne udvikle nogle etiske retningslinjer, forslag til juridiske reformer, tjeklister for algoritmeudvikling og designe blueprints af AI-løsninger til sundhedsvæsnet, siger professor Katarzyna Wac fra Datalogisk Institut.

Professor Timo Minssen fra Det Juridiske Fakultet tilslutter sig Katarzyna Wac og tilføjer:

- I vores forskningscenter, CeBIL, har vi allerede arbejdet med at vurdere de juridiske og etiske udfordringer i medicinsk AI i samarbejde med Harvard Law School. Dette nye projekt giver os dog for første gang mulighed for at dykke dybere ned i de tekniske detaljer og ikke kun analysere udfordringerne, men også udfolde designmulighederne.

De to forskeres ideer udgør rammen for deres nye, tværfaglige forskningsprojekt, AI@CARE. Sammen med Audrey Lebret (postdoc) og Sofia Laghouila (ph.d.-studerende) vil de kombinere datalogi og jura og undersøge både de algoritmiske, juridiske og etiske faktorer, som er relevante for diskrimination på sundhedsområdet.

Manglende information kan give fatale konsekvenser

For at forstå hvorfor medicinske AI-systemer risikerer at overse visse befolkningsgrupper, er vi nødt til at se nærmere på, hvordan kunstig intelligens fungerer. I maskinlæring, som er en teknik inden for kunstig intelligens, programmeres maskiner gennem algoritmer til at kunne genkende mønstre i data og herudfra lave forudsigelser. For at opsætte sådan et system skal maskinerne "fodres" med både repræsentative data og væsentlige variabler for at kunne give nøjagtig og brugbar feedback.

- De beslutninger, som en maskine træffer, er baseret på tidligere datasæt, som maskinen har lært at finde sammenhænge i. Hvis der mangler nogle vigtige faktorer i disse dataset og dermed i algoritmerne, vil de give skæv feedback. Det kan resultere i, at de personer der har mest brug for opfølgning og behandling ikke får det. Vi ved nemlig af erfaring, at de personer der har et seriøst behandlingsbehov nogle gange også er dem, vi har færrest data om, fordi de ikke deltager i de offentlige undersøgelser, der bidrager med data til medicinske modeller, forklarer Katarzyna Wac.

I en amerikansk undersøgelse der blev offentliggjort i Science i oktober 2019 fandt forskere stor racemæssig diskrimination i en bredt anvendt algoritme, der hjælper læger over hele USA med at bestemme, hvilke patienter der har brug for yderligere opmærksomhed. Denne algoritme favoriserede hvide patienter frem for sorte patienter, der var syge og havde mere kroniske sygdomstilstande, skriver NBC News.

- Den amerikanske undersøgelse kom ud, lige efter vi havde lavet vores projektansøgning, så det højnede bestemt vores motivation for vores AI@CARE-projekt. I dansk sammenhæng er race nok ikke en faktor, som kan medvirke til forskelsbehandling. Men det har betydning for din risiko for kroniske sygdomme, om du er af vestlig-/ikke-vestlig-oprindelse. Selv er jeg oprindelig fra Polen, og det faktum betyder, at jeg har en større risiko for hjerte-kar-sygdomme end etniske danskere. Det er et ekstremt vigtigt, at AI-systemer tager højde for sådanne faktorer, siger Katarzyna Wac.

AI@CARE-projektet startede 1. april og løber tre år frem. Projektet er finansieret af Københavns Universitets DATA+ pulje, der understøtter tværfaglige projekter hvor datavidenskab er inkluderet.