Baggrund

Når vi tjekker Facebook, køber morgenkaffen med dankortet og checker ind med rejsekortet i metroen: Lige fra vi vågner og gennem resten af dagen, kan man følge vores digitale datafodspor. Den tiltagende digitalisering af alle vores aktiviteter har øget mængden af data om os til et niveau, der gør det muligt at se, hvad vi laver, hvor vi er og hvem, vi er sammen med, døgnet rundt. Det er ikke uden grund, at man i den digitale tidsalder udvikler forståelsen af fænomenet overvågning.

På engelsk er man begyndt at bruge betegnelsen dataveillance, som kommer ud af det engelske ord for overvågning, survelliance. På dansk er det mest rammende begreb nok dataovervågning. Det er det, som denne udgivelse vil forsøge at udforske og udfolde konturerne, rationalerne og konsekvenserne af. I denne artikel forsøger vi at gå lidt bag om fænomenet, så vi bedre kan forstå, hvilke betingelser, der gør denne nye epokegørende overvågning mulig. Vi præsenterer også rammerne for den sociale skævvridning, som vi med udgivelsen har været interesseret i at undersøge og få belyst nærmere.

For at forstå hvorfor et fænomen som dataovervågning overhovedet kan eksistere, og hvorfor det risikerer at ramme socialt skævt, som det altså lyder fra mange kritikere, er der to tendenser, man må have for øje. Det ene er den stigende mængde af data, vi allerede har været lidt inde på, og den anden er automatiseringen af arbejdsopgaver – herunder og særligt relevant for os: automatiseringen af behandlingen af data.

Automatisering: Fra mennesker til teknologier

Fra før at være foretaget og kontrolleret af mennesker, bliver rigtig mange arbejdsopgaver og funktioner i dag udført af maskiner og teknologier. Automatiseringen af forskellige systemer og processer sker lige nu med lynets hast og er båret frem af ønsket om at øge effektiviteten og hastigheden af arbejdet blandt både myndigheder og virksomheder. På verdensplan indtager Danmark førstepladsen, når det kommer til automatiseringen af den offentlige sektor.

Til forskel fra automatiseringen i den industrielle produktion vil en automatisering i den digitale tidsalder som regel sige, at arbejdsopgaverne overgår til at blive udført af algoritmer og kunstig intelligens. Med computere og maskinlæring er det blevet muligt at programmere algoritmerne til at foretage vurderinger på stadig mere komplicerede grundlag. Der findes eksempelvis algoritmer, der vurderer, om du i fremtiden kommer til at begå kriminalitet eller bliver langtidsledig. Og her er vi tilbage til de enorme mængder data, som vi producerer dagen lang, og som opbevares i enorme databaser.

Det er nemlig dataen, som algoritmerne trækker på for at kunne gøre deres arbejde. Hvis ikke algoritmerne havde dataen, ville de ikke kunne udføre de hidtil menneskelige arbejdsopgaver, og hvis ikke der var så meget data, som følge af digitaliseringen, ville det algoritmebaserede arbejde nok ikke være nært så udbredt og eftertragtet. Viden er magt, og at have data – altså informationer – om mennesker giver uanede muligheder. Og det er en af grundene til, at algoritmer er så populære i en digital verden fyldt med data. Det gælder både blandt offentlige myndigheder og private virksomheder. Mange algoritmer i dag kan nemlig både indsamle og analysere data og på baggrund heraf løse det problem, de er programmeret til. Og det er netop med en automatiseret behandling af data, at personoplysninger og langt de fleste af vores aktiviteter i højere grad bliver synlige og tilgængelige for andre end os selv. Den engelske term dataveillance dækker præcist over overvågning og indsamling af data på én og samme tid. Man kan på den måde tale om algoritmer som en slags nye overvågningsteknologier, der modsat videokameraet på gaden er allestedsnærværende, mere usynlig og mere indgribende.

Hvad er en algoritme?

En algoritme er egentlig en matematisk formel, der kommer med et svar, givet i tal, på et specifikt problem – eksempelvis og traditionelt et problem, der har at gøre med og kan besvares med henvisning til naturens love. Algoritmer har man anvendt mange år, før computeren kom frem, blandt andet til at beregne ting som planeternes cirkulation eller andre naturfænomener.

I nyere tid er det efterhånden mere korrekt at tale om algoritmen som et automatiseret beslutningssystem, det vil sige et computerdrevet system, der ved hjælp af maskinlæring er blevet langt mere avanceret end hidtil. Som formler er mange af algoritmerne nu så komplicerede, at det giver mere mening at tale om dem som hele programmer eller systemer. Eksempelvis er algoritmen for Facebooks newsfeed et program på mere end 50 millioner linjer kodning.

Modsat tidligere kan algoritmerne nu fodres med langt mere data takket være digitaliseringen, og dataen er ikke længere kun informationer om Jordens omdrejningshastighed eller Saturns tyngdekraft, men lige så vel om kultur, følelser og opvækst. Samtidig er de, i takt med udviklingen i maskinlæring, blevet i stand til at løse opgaver, der ligger uden for den menneskelige evne, og det er blevet muligt for algoritmen ikke bare at indsamle og analysere data, men også at træffe (automatiske) beslutninger på baggrund af data. På den måde har teknologien og de nye algoritmer grundlæggende ændret og står til fortsat at ændre 1) hvordan og hvorfor information indsamles, 2) hvordan informationen er bearbejdet, og 3) hvordan beslutninger træffes.

Overvågningskapitalisme

Algoritmer er attraktive teknologier for virksomheder og myndigheder, fordi de kan effektivisere deres arbejde og behandle langt mere data, end et menneske ville kunne. Den automatiserede håndtering af data betyder samtidig, at dataen nemmere kan deles på kryds og tværs af myndigheder og virksomheder, og at den bliver brugt i stadig flere sammenhænge og af flere aktører, end vi måske går og tror. Algoritmer er blevet en central del af virksomheders forretningsmodel, som kan bruge dataen til at modificere vores adfærd med henblik på profit. Ud fra vores søgehistorik på internettet, vores køn, alder og meget mere kan virksomhederne ved hjælp af en algoritme forudse vores præferencer og næste potentielle køb og herfra målrette annoncer efter algoritmens profilering af os. Det samme kan forsikringsselskabet, der ønsker at forudse sandsynligheden for, at vi bliver syge, og banken, der ønsker at vurdere, om vi er kreditværdige til et lån.

Det er netop den tendens, som den amerikanske forfatter Shoshana Zuboff præsenterer i sin bog Overvågningskapitalisme, der for nyligt udkom på dansk. Zuboff skriver, at udviklingen er et resultat af et massivt lobbyarbejde mod politiske reguleringer af tech-industrien. Og mens denne forretningsmodel startede hos virksomhederne i Silicon Valley (Google, Amazon, Facebook med flere), så har tendensen nu spredt sig som ringe i vandet – ikke bare til andre private virksomheder, men også til offentlige myndigheder.

Intentionerne med anvendelsen af algoritmerne til umiddelbart menneskelige vurderinger i den offentlige sektor er at forbedre mulighederne for at spotte borgernes udfordringerne og bekæmpe fremtidige potentielle belastninger. Kan man som socialrådgiver ud fra en borgers sygdomshistorik for eksempel se, at borgeren har døjet med stress eller angst, er det lettere at rådgive og vejlede borgeren i jobsøgningen. Det smarte ved at bruge en algoritme til det er, at mere data kan behandles på én gang, og så er idéen med brugen af algoritmer, at det vil give eksempelvis socialrådgiveren en bedre forudsætning for at være upartisk og handle fordomsfrit.

Men ifølge kritikere ser realiteterne noget anderledes ud end intentionerne. Man kan for eksempel spørge sig selv, om det for en borger er givende at få at vide, at man er i højrisiko for at blive langtidsledig. Bliver det lettere at få et arbejde, hvis man får at vide, at statistikken taler imod det? Den slags har man ikke undersøgt.

En anden kritik mod brugen af algoritmerne går på, at den faktisk ikke bryder med fordomme, men derimod forstærker fordomme og kontrol med bestemte grupper i samfundet. Ved at inddrage kategorier som etnicitet, køn og økonomiske forhold er der risiko for, at du som eksempelvis arbejdsløs vurderes ud fra dit etniske ophav eller dit køn, og at algoritmerne dermed bidrager til at øge den diskriminatoriske praksis blandt de instanser, der anvender dem, lyder krikken. Det bringer os videre til den undren, der har været grundlaget for denne udgivelse.

Den sociale skævvridning

Når algoritmen skal forudsige statistiske sandsynligheder og løse et specifikt problem, så analyserer den den data, programmørerne har tilføjet til den. Som med al statistik skal man bemærke, at algoritmen observerer statistiske sammenfald – ikke årsagssammenhænge. Algoritmen identificerer mønstre – altså sammenfald – i data, som den bruger til at lave sine forudsigelser. Mange algoritmer fungerer på den måde som profileringsværktøjer: Hvis du slår ud på et af de parametre, der ifølge algoritmen øger din sandsynlighed for at blive eksempelvis langtidsledig, kan socialrådgiveren “spotte”, om du er i risikozonen.

Ifølge kritikere er problemet bare, at algoritmen kan risikere at diskriminere, fordi selve konstruktionen af den kræver data, der ofte vil være baseret på diskriminatoriske kategorier. Det er som udgangspunkt programmørerne af algoritmen, der bestemmer, hvilke data, algoritmen skal analysere, og hvilket problem, den skal løse. Men da dataen afspejler vores samfund, indlejres derfor også de værdier, antagelser og fordomme, der findes i samfundet. Når algoritmen tager udgangspunkt i data fra virkeligheden, vil den også tage udgangspunkt i de fordomme, der eksisterer i virkeligheden, og de antagelser, vi har om virkeligheden. Eksempelvis kan algoritmen, hvis den anvendes i forbindelse med en ansættelsesprocedure, udpege hvide mænd som mest egnede til direktørstillinger. Da flere hvide mænd besidder direktørstillinger i dag, og det på den måde er statistisk ‘bekræftet’ i den data, algoritmen bearbejder, vil algoritmen nå til den konklusion, at hvide mænd har større sandsynlighed for at passe ind i en direktørstilling. Omvendt taler statistikken og algoritmen imod dig, hvis du er ikke-mand og ikke-hvid. På den måde er der en tendens til, at algoritmen viderefører eksisterende værdier og reproducerer eventuelle fordomme i sin bearbejdning af data og i sine resultater.

Noget tilsvarende har sociolog Ifeoma Ajunwa fundet i sin undersøgelse af brugen af algoritmer i forbindelse med netop ansættelser, hvor kategorier som etnicitet og klasseforhold anvendes til at vurdere egnethed. Her fandt hun, at personer med etnisk minoritetsbaggrund og fra fattigere boligområder frasorteres tidligt i ansættelsesprocessen. I hendes konkrete tilfælde skyldtes det, at algoritmens sortering foregik på baggrund af uddannelsestests, der i et etnisk og økonomisk segregeret skolesystem som det amerikanske ikke kan standardiseres og tilpasses en algoritme.

Ifølge Ajunwa vil der være en tendens til, at dataovervågningen og de nye automatiske systemer generelt går mest ud over personer, der i forvejen er udsatte og marginaliserede. Det samme mener den amerikanske matematiker Cathy O’neil, som står bag bestselleren “Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy”. Her argumenterer hun for, at brugen af algoritmer uundgåeligt vil resultere i uretfærdig behandling af personer, der i forvejen er i kontakt med systemet eller i systemets søgelys, og som på den måde tilhører bestemte forudindtagede “problemgrupper” i samfundet. Cathy O’neil peger selv på migranter, religiøse og etniske minoriteter samt fattige som personer, der vil udsættes for markant mere overvågning og kontrol, alene fordi de tilhører disse grupper. Diskriminationen består altså i algoritmens segmentering og kalkulering af sandsynligheder på baggrund af diskriminatoriske kategorier. Man risikerer at blive bedømt og vurderet ud fra sit gruppetilhørsforhold. Det sætter store krav til både programmører og dem, som anvender algoritmerne i deres arbejde, i forhold til at gennemskue den bias, der ligger til grund for algoritmens resultater.

Hvad siger loven?

I modsætning til i USA kan man i Danmark og resten af EU dog ikke bare indsamle og genanvende data uden samtykke. Det skyldes den europæiske databeskyttelsesforordning, GDPR, som har til hensigt at beskytte borgerne mod netop deling af personoplysninger, privatlivskrænkelser og diskrimination.

I udgangspunktet siger GDPR, at personoplysninger ikke må genanvendes på en måde, som ikke er forenelig med det oprindelige, legitime formål, de er indsamlet til. Man må altså som virksomhed eller myndighed ikke bare bruge hvilken som helst data om borgerne, som er tilgængelig. Samtidig er virksomheder og myndigheder underlagt oplysningspligten, hvilket vil sige, at man som borger altid skal oplyses om, hvis ens oplysninger indsamles og behandles.

Men GDPR giver samtidig mulighed for, at der nationalt fastsættes bestemmelser, som tilpasser og supplerer GDPR. Databeskyttelsesloven, der blev vedtaget i Danmark i maj 2018, pålagde ikke bare virksomheder og myndigheder i Danmark at leve op til GDPR-kravene, men indeholder også åbninger for undtagelser fra reglerne. For eksempel giver databeskyttelseslovens paragraf 5 stk. 3 mulighed for, at en minister kan udstede en bekendtgørelse, og dermed give offentlige myndigheder lov til at samkøre data, det vil sige hente persondata fra andre dataregistre og genanvende dem til nye formål. Under de forudsætninger vil myndighederne desuden være undtaget oplysningspligten, med mindre behandlingen sker i kontroløjemed, eksempelvis hvis der er mistanke om socialt bedrageri.

På den måde bliver der på trods af GDPR alligevel en række områder, hvor myndighederne, så længe de har fået en bekendtgørelse, har ret til at anvende data, borgerne ikke har sagt ja til, og som de ikke er forpligtet til at informere borgerne om.

Samtidig er mange af den opfattelse, at GPDR skulle forhindre, at der gøres brug af profilering og automatiserede beslutninger. Som udgangspunkt siger artikel 22 i GDPR nemlig, at det ikke er tilladt at anvende fuld automatiserede beslutningsystemer. Men de stadig mere avancerede algoritmer gør det svært at afgøre, hvornår og hvor der træffes automatiske beslutninger i en proces. Eksempelvis kan det være, at en algoritme, hvis vi tager eksemplet med ansættelser igen, automatisk sorterer et bestemt segment af ansøgere fra i begyndelsen af ansættelsesprocessen – igen fordi de statistisk set ikke “passer ind” i jobbet. Det vil sige, at denne grupper af mennesker vælges fra, inden deres ansøgninger overhovedet har nået et bedømmelsesudvalg bestående af rigtige mennesker, hvor de kunne have været genstand for yderligere analyse. Muligvis kan disse mennesker være med til at træffe den endelige beslutning om hvem, der skal ansættes (igen med et algoritmisk skøn i baghånden), men med selve screeningen og frasorteringen er der tale om en automatiseret beslutning – i dette tilfælde på forhånd udelukkelse af bestemte personer fra et job. GDPR-kravene er altså ingen garanti i sig selv for at undgå sådanne krænkelser.

Uafhængigt af GDPR består det demokratiske problem dog også i, at de fleste af os ikke ved, hvor meget og hvilken data, vi hver især producerer og leverer, eksempelvis når vi er på nettet, og hvad denne data kan bruges til. Her peger Cathy O’neil på, at det er yderst svært at gennemskue algoritmerne og uretfærdig behandling i systemet, når der bruges algoritmer. Det bliver derfor også svært for individer i disse grupper at gennemskue, hvor og mod hvem, kritikken skal rettes. Desuden vil de fleste, der udsættes for diskrimination på baggrund af algoritmerne, ifølge Cathy O’neil, ikke opdage det – netop fordi det sker automatisk, og fordi fordommene, som algoritmens resultater er baseret på, er gemt i algoritmen. I virkeligheden er det kun ganske få, der har den tekniske viden, der skal til for at gennemskue, hvordan en algoritme når frem til sine resultater, fordi den løbende, som ny data tilføres eller ændres, lærer af sine erfaringer og tilpasser sine analyser. Faktisk ved nogle programmører af algoritmen ikke engang præcist, hvordan algoritmen analyserer data og træffer beslutninger af selvsamme årsag.

Heller ikke diskriminationslovgivningen, som blev indført i Danmark i 70’erne, lader til at være en garanti mod krænkelser og diskrimination i en digitaliseret verden. Lovgivning mod diskrimination har til hensigt at beskytte den enkelte borger mod diskrimination på baggrund af blandt andet køn, etnicitet og religion. Men med den automatiserede databehandling ser vi eksempler på, at diskrimination alligevel sniger sig ind i vurderinger og beslutninger om mennesker. Spørgsmålet er, om lovgivningen ikke er fulgt med, eller om vi bare ikke er gode nok til at håndhæve eller implementere den eksisterende lovgivning. Men også selvom lovgivningen tilpasses, eller man eksempelvis laver forbud om at anvende direkte diskriminerende kategorier i algoritmerne, så vil det alligevel være muligt for avancerede algoritmer at nå frem til den information gennem den data, der er tilgængelig for dem. Eksempelvis kan etnicitet være relateret til boligområde, og på den måde kan beslutninger truffet på baggrund af en borgers bopæl i sidste ende resultere i en beslutning baseret på etnicitet. Et andet eksempel er politisk holdning, som kan trækkes ud af forskellige søgehistorikker og likes på eksempelvis Facebook og Google.

Problemet er, ifølge flere forskere, at vores lovgivning er enormt individualiseret, og at vores forståelse af, hvad privatliv dækker over, og som er grundlaget for den nuværende lovgivning om diskrimination, ikke er tilstrækkelig. Privatliv og privatlivskrænkelser tænkes som individuelle spørgsmål, og det kan gøre os blinde over for de krænkelser, der foregår på baggrund af forskellige gruppetilhørsforhold, lyder kritikken. Algoritmerne er i stand til at definere de forskellige grupper i samfundet så præcist, at den eksisterende lovgivning nærmest bliver overflødiggjort inden for de algoritmebaserede systemer og instanser. Derfor peger flere på, at databeskyttelse bør udvides, så den indtænker og beskytter kollektive rettigheder.

Samlet set giver brugen af algoritmer til databehandling og beslutningsprocesser altså, ifølge mange kritikere, grund til at vække bekymring, hvis ikke der tages højde for deres potentielle sociale skævvridning af samfundet, og hvis ikke der laves grundigere undersøgelser om konsekvenserne ved automatiserede beslutningssystemer. Lige nu er der for eksempel ingen forskning, der understøtter, at automatiseringen af den offentlige sektor, herunder brugen af algoritmer til socialt arbejde, skulle have en positiv effekt på arbejdet. På samme måde står mange relevante spørgsmål omkring algoritmernes effekter og konsekvenser stadig ubesvaret hen.

 

Kilder:

De skjulte algoritmer: teknoantropologiske perskektiver af Klavs Birkholm og Niels Frølich

Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy af Cathy O’neil

Overvågningskapitalisme af Soshana Zuboff

Digital Totalitarisme af Mads Vestergaard

Algorithms of Opression: How Search Engies Reinforce Racisme af Safiya Umoja Nobles

Automated Employment Discrimination af Ifeoma Ajunwa