Artikel

En arbejdsløs mand er begyndt at gå sent i seng om aftenen. Det kan vi se på hans elforbrug. 

Vi ved, at det at gå sent i seng om aftenen øger risikoen for langtidsledighed. Kunne det mon ikke være en idé at tage fat i manden og spørge ham, om ikke han skulle passe sin sengetid? 

Hvis han afviser, kunne man stille det næste spørgsmål: Står han overhovedet til rådighed på arbejdsmarkedet? Eller skulle man tage et kig på hans sociale ydelse og måske give ham lidt incitament?

I en samtale om en bog ved navn Digital Totalitarisme, der skitserer en dystopi, hvor mennesker af den digitale tidsalder er under komplet overvågning og kontrol, vil man nok umiddelbart tro, at disse overvejelser blot er forestillinger om et fremtidigt skræksamfund.

Men Mads Vestergaard, som er forfatter til bogen, og som Respons har taget kontakt til for at tale om den digitale dystopi, fortæller, at overvejelserne stammer fra de danske myndigheder – helt præcist fra Digitaliseringstræf i 2018 hos Kommunernes Landsforeningen, KL. 

Med bogen Digital Totalitarisme har Mads Vestergaard ønsket at tegne et billede af, hvor vi med digitaliseringen og en ukritisk brug af algoritmer til at overvåge og kontrollere mennesker kan risikere at ende og måske allerede er på vej imod. I ønsket om at sikre konkurrencedygtighed, effektivitet og profit glemmer vi nemlig, ifølge Mads, at have blik for de demokratiundergravende og i sidste ende totalitære tendenser, som følger med digitaliseringen og den stigende dataovervågning.

Fra Kina til Vesten

Fortællingen om den ultimative datadrevne styring, der kontrollerer og overvåger mennesker, trækker ofte på Kina som skræmmeeksempel. Her tegnes billedet af et autoritært styre, langt fra det danske, som benytter sig af et socialt kredit system, der indsamler data om folk og rangerer dem på baggrund af deres adfærd.

Men det billede er forsimplet, fortæller Mads Vestergaard, som oprindeligt selv havde købt fortællingen om det sociale kreditsystem i Kina, hvor den totale stat sætter sig på det hele. Efter nærmere undersøgelse fandt han ud af, at et sådant system ikke findes i Kina – i hvert fald ikke på nuværende tidspunkt og ikke i den totale form, som det opfattes af mange i Vesten. 

Faktisk fortæller Mads, at det er en misforståelse, at den kinesiske indsamling og brug af data om borgerne, samt mange af målene bag, skulle adskille sig drastisk fra den, vi også ser i Vesten:

“Det er selvfølgelig den kinesiske partistat, der sidder usammenligneligt tungt på magten og autoriteten i forhold til demokratier, men den måde, det kinesiske kommunistparti er begyndt at lave samarbejder med de private virksomheder og integrere deres viden og teknologier i partiets regeringsførelse, minder på visse punkter om det, vi også ser i Vesten. Begge steder forskydes magt og beslutninger i effektivitetens navn fra demokratisk folkevalgte politikere til kommercielle markedsaktører i offentlig-private partnerskaber. Man hiver tech-virksomheder ind i de politiske rådgivningsforsamlinger og integrerer dem i den politiske styring.”

Det er ikke sikkert, at de kapitalistiske frimarkedsøkonomier nødvendigvis og på længere sigt vil være bedre end autoritære stater som Kina, når det kommer til datadrevet overvågning og styring af borgerne, fortæller Mads.

Forskellen er, at mens initiativet i Kina kommer fra statslige aktører, kommer det i de vestlige økonomier i høj grad fra markedet. Så mens målet i Kina er kontrol og et ‘harmonisk samfund’, er målet i Vesten profit for de enkelte virksomheder. Men i sidste ende kan det blive svært at se forskel på resultaterne, siger han:

“I begge tilfælde, både den stats- og markedsdrevne model, er der en risiko for at bevæge sig i retning af en ny form for datadrevet styring af borgerne, som går så nært, at det er undergravende for friheden. Risikoen er, at både marked og stat bevæger sig i retning af at mødes i en form for digital totalitarisme, eller det totalt administrerede samfund, hvor selvbestemmelse og al spontanitet erstattes af styring og micro-management.“

I både USA og Kina har man ved hjælp fra de private virksomheders overvågningsteknologier i dag fået mulighed for at lave et så finmasket overvågningsnetværk, at det kan sikre total kontrol over befolkningerne, fortæller han.

En ny magtteknik vinder frem i Danmark

Ifølge Mads Vestergaard er vi også i Danmark på vej i en dyster retning, når det kommer til overvågning og brugen af algoritmer til at kontrollere og styre mennesker. Det er de indledende overvejelser fra KL’s digitaliseringstræf et tydeligt eksempel på.

“Der er et fænomen og en form for styring, som man begynder at kunne se konturerne af i Danmark også. Og det er den styringsform og magtteknik, som jeg kalder New Citizen Management. Det er en videreudvikling af new public management, som handler om effektivisering og styring af offentlige medarbejdere for at få så meget som muligt for pengene.”

Allerede med New Public Management har vi at gøre med en mild form for overvågning og kontrol, hvor medarbejderen skal leve op til måltal, dokumentationskrav og hvis præstation evalueres på den baggrund. Man erstatter medarbejderens egen faglighed og dømmekraft med kontrol og styring ovenfra.

Med New Citizen Management tager man principperne fra New Public Management, udbreder dem til hele befolkningen og skruer op for incitamentsstyring og overvågning gennem dataindsamling, fortæller Mads.

“Man styrker incitamenterne ved at inddrage en masse livsforhold i, hvad man bliver straffet for og belønnet af, og så får man et system til effektiv adfærdsregulering og social kontrol. Kigger man på Kina og ser på hvad princippet er i de sociale kreditsystemer, så er det præcis en kombination af overvågning og skabelse af incitamenter. Det kan betegnes New Citizen Management, og det er altså ikke noget, kineserne har fundet på, men noget, de faktisk har importeret fra måder at styre medarbejdere i Vesten.”

Som eksempel i Danmark på en sådan form for incitamentsstyring peger Mads på måden, vi allerede i dag laver uddannelses- og beskæftigelsespolitik:

“Uddannelse og beskæftigelse er nogle af de områder, hvor det i allerhøjeste grad handler om at skabe de rette incitamenter til at blive hurtigere færdig og komme hurtigere i gang med at arbejde. Her finder man et tiltagende brug af incitamenter til at styre unges studievalg og studietid og overvågning fra de helt små klasser i form af for eksempel trivselsmålinger og nationale tests.”

Den slags sker i Danmark muligvis først og fremmest af samfundsøkonomiske hensyn, siger Mads Vestergaard, men det er samtidig vejen mod et kontrolsamfund.

“Ser man specifikt på arbejdsløse og ledige”, siger Mads og henviser til eksemplet med den arbejdsløse mand, der går sent i seng, “så er overvågningen ved at nå helt nye dimensioner. Der er kommet forslag om, at kommunernes kontrolenheder skal have adgang til rejsekortsdata, mobildata og elforbrug, så man kan sikre sig mod snyd med sociale ydelser. Og så begynder vi at nærme os en total overvågning, hvor privatlivet ikke er muligt.”

Samtidig bryder tendensen med principperne i et retssamfund, hvor man er uskyldig til det modsatte er bevist, siger Mads.

“Ved grundlæggende at masseovervåge mennesker, som modtager en social ydelse – bare fordi de modtager en social ydelse – og dermed mistænkeliggøre dem fra start, så er man i gang med at erstatte tillid til borgerne med mistillid og kontrol.”

Derfor er Mads skeptisk over for den hastighed, Danmark har i digitaliseringsræset:

“Når man kender til tendenserne i USA og Kina, så er det skræmmende at se vores digitaliseringsiver i Danmark, og hvor travlt vi har med at overhale Kina indenom. Hvis det skal gå så hurtigt som muligt, så er der ikke tid til omtanke, etik eller demokratisk debat. Det i sig selv er ikke totalitært, men kan give et demokratisk underskud, hvor vi tager nogle for hurtige, dumme og demokratisk undergravende beslutninger.“

Ulighed for loven og diskrimination på formler

En af konsekvenserne ved en ukritisk implementering af digitale løsninger er, at algoritmer og automatiske beslutninger kommer til at blive brugt i sammenhænge, hvor det ofte kan være uhensigtsmæssigt og til tider ligefrem diskriminerende.

I Danmark er algoritmer begyndt at spille en central rolle i sagsbehandling inden for blandt andet kontanthjælps- og beskæftigelsessystemet. Her er vi tilbage ved eksemplet med arbejdsløse og ledige. Med en ny lov, der trådte i kraft i sommeren 2019, er det nemlig blevet tilladt for socialrådgivere og sagsbehandlere at bruge en algoritme til at vurdere risikoen for langtidsledighed. Det gør algoritmen på baggrund af personlige oplysninger om den ledige, såsom etnicitet, uddannelse og sygdomshistorie. Som ledig bliver man på den måde vurderet ud fra blandt andet sit etniske ophav af en algoritme, som spytter et tal ud, der angiver, hvor på risikoskalaen den ledige befinder sig. Loven blev for øvrigt vedtaget, uden Folketinget og datatilsynet blev gjort opmærksom på, at loven også tillod netop profilering.

Med en kontrol af særligt arbejdsløse kan digitaliseringen og dataovervågningen på den måde ende med at bidrage til en social skævvridning og til diskrimination af i forvejen udsatte grupper, mener Mads. Ikke bare på grund af den data, der hentes om disse personer, men også fordi databehandlingen og vurderingen af personerne foregår algoritmisk.

Den oprindelige tanke var ellers, at netop fordomme og diskrimination kunne fjernes fra eksempelvis socialt arbejde ved at bruge algoritmer. Men som Mads påpeger, kommer diskriminationen i stedet på formel og bliver neutraliseret:

“Algoritmerne kommer til at virke diskriminerende, men på en måde hvor diskriminationen er blevet usynlig, fordi det bliver forvandlet til en risikovurdering, der bliver givet i tal. Og tal har det med at virke objektive, neutrale og videnskabelige. Når det er sådan, at diskrimination, partiskhed og social skævvridning bliver algoritmebaseret, så bliver det lige præcis neutraliseret, gjort mere usynligt, og får et skær af videnskabelighed.”

Selvom det stadig er socialrådgiveren og ikke algoritmen, der i sidste ende har autoriteten og skal træffe den endelige beslutning om den arbejdsløse, kommer tilliden til de matematiske formler til at være afgørende, mener Mads:

“Problemet er jo, at netop fordi vi får noget ud i en kvantificeret risikoscore, så har mennesker en tendens til at tage det, som om det er objektivt og videnskabeligt. Så algoritmerne vil nok være RET så rådgivende for socialrådgiverne.”

Også andre forskere peger på, at det vil være svært for professionelle at tale imod algoritmens konklusioner, der i sidste ende derfor vil blive reelle afgørelser. Der henvises blandt andet til erfaringer fra kriminalforsorgen i både USA og England, hvor man har anvendt algoritmer til at vurdere, om indsatte burde prøveløslades. Her har det vist sig, at de færreste medarbejdere turde at gå imod algoritmens resultater.

Når for mange afgørende beslutninger overlades til algoritmer og baseres på risikovurderinger, herunder domme og strafudmåling i retssystemet, risikerer vi at ende langt fra de principper, som et retssamfund bygger på, påpeger Mads:

“Hvis man fik en menneskelig dommer til at formulere det ræsonnement, der ligger bag risikovurderingsalgoritmer og den måde, forskellige faktorer bruges til at vurdere risiko, så bliver det meget tydeligt, at det går stik imod vores forståelse af retfærdighed, hvor der gælder lighed for loven, og man dømmes og straffes for det, man faktisk har begået.”

Mads henviser til brugen af algoritmer i forudsigende politiarbejde i USA, som også er blevet en realitet i Danmark, hvor visse personer (ofte ikke-hvide) risikerer at blive dømt på forhånd på grund af deres bopæl.

“Følges algoritmernes risikovurderinger og anbefalinger, følges der reelt en type ræsonnement, som går på, at fordi man er opvokset i en sund middelklassefamilie og aldrig har været ramt af kriminalitet, så er risikoen for, at man laver kriminalitet mindre, og derfor straffes man mindre hårdt for en førstegangforseelse. Omvendt bliver man straffet hårdere, hvis man kommer fra et dårligt kvarter, er blevet tvangsfjernet og kæmper for overhovedet at få et job. Man siger altså: “Det kan godt være, det ikke er din egen skyld, men statistisk set er folk som dig en større risiko for samfundet, og derfor er det sikrere at bure dig inde.” Det er jo ikke det, vi normalt forbinder med retfærdighed. Normalt skal man dømmes for det, man har gjort – ikke for risiko for fremtidige potentielle forbrydelser. Og det er den slags, der sniger sig ind af bagdøren, når man har for meget tillid til algoritmerne.”

Vindere og tabere i den digitale tidsalder

Tilbage til Mads Vestergaards tidligere pointe om incitamentsstyringen og kontrolmekanismerne i det danske beskæftigelsessystem, så har vi at gøre med et beskæftigelsessystem, der med forskellige former for sanktioner allerede langt hen af vejen er baseret på mistillid til og kontrol af arbejdsløse og andre udsatte grupper. Det gør implementeringen af de nye overvågningsteknologier endnu mere bekymrende, mener Mads:

“Når den mistillid, som mange folk mødes med på jobcenteret, bliver tilsat dataovervågning, så får vi et system, hvor man – frem for at hjælpe den arbejdsløse i arbejde – bruger viden om den arbejdsløse for at kontrollere vedkommende. Overvågningsteknologierne og algoritmerne er værktøjer, som er farlige at levere til en kultur og et system, som allerede er baseret på mistillid og kontrol – og konstante krav om endnu mere kontrol. Der er risiko for, at de datadrevne værktøjer bliver brugt mod borgerne frem for til deres fordel.”

Selvom rationalet er et mere transparent samfund, er det pudsigt nok ikke politikerne, der skal overvåges, indvender Mads og refererer til offentlighedsloven.

“Der er en skævvridning af samfundets magtrelationer, og det virker på den måde, at de store indflydelsesrige spillere kan agere i ly af mørket, mens almindelige borgerne og særligt de udsatte bliver endnu mere eksponeret.”

Ligesom der altid er vindere og tabere i de forskellige former for kapitalisme, står det for Mads klart, hvem disse er i overvågningskapitalismen:

“Vinderne er store markedsaktører som tech-giganterne, finansinstitutioner og stater, der har midler til at tilgå data. Det er det, problemet er med de digitale nye teknologier: De rykker ved de grundlæggende magtbalancer i samfundet, så dem, der i forvejen har magt, de får mere magt, og dem, der i forvejen står svagt, de får det sværere og bliver mere udsatte. Så på den måde er det med til at stadfæste og måske endda forværre de uretfærdigheder og magtforhold, der i forvejen er i samfundet.”

Den oprindelige tanke om de smarte algoritmer som teknologier, der kunne sikre lighed for loven, er altså under de nuværende omstændigheder, ifølge Mads, et forsvindende håb:

“Vi blev allesammen lovet at blive mere frie og lige, da den digitale revolution tog fart med udbredelsen af internettet i 1990erne, men det har vist sig, at det på en helt masse punkter rent faktisk virker modsat. Så den drøm om frigørelse, som den digitale revolution var omgærdet af, risikerer, hvis ikke vi som historiens reelle aktører gør noget ved sagen, at slå om i sin modsætning.”

Skal vi undgå det, er det, ifølge Mads, afgørende, at EU viser en anden vej, hvor stram lovgivning og regulering af markederne sikrer, at borgerne står stærkt.

“Har man viden om folk, har man magt over dem. Og det er helt grundlæggende for at forstå, hvorfor overvågning er med til at rykke ved magtforholdene i samfundet, og hvorfor den kan være demokratisk undergravende for en retsstat”, understreger Mads til sidst.

Som bogen Digital Totalitarisme også lægger op til, håber Mads, at omtanke, retfærdighed og demokratiske rettigheder i den kommende tid vil prioriteres højere end den digitale førertrøje.