Myten om den objektiva algoritmen

Wall Street Journal rapporterade i veckan Länk till annan webbplats. att de flesta av företagen på USA:s Fortune 500-lista använder sig av artificiell intelligens (AI) i sina rekryteringsprocesser. Tekniken används till att scanna ansökningshandlingar efter nyckelord, som ett första sätt att sålla fram de mest intressanta kandidaterna för specifika tjänster. Nyckelorden är mer kopplade till personlighetsdrag än till kompetenser och färdigheter, vilket innebär en möjlig förskjutning i hur detta första rekryteringssteg går till, jämfört med om en människa gjort en första gallring.

Att robotar och AI används för att utföra rutinmässiga uppgifter med viss grad av komplexitet blir allt vanligare. I Sverige har stora delar av tillverkningsindustrin under de senaste 15 åren genomgått en strukturomvandling genom att produktionen automatiserats. För närvarande håller många organisationer både inom offentlig och privat sektor på att implementera RPA – Robot Process Automation – som ett sätt att effektivisera processer och arbeten som tidigare utförts av tjänstepersoner; till exempel löneadministration och ekonomihantering. Robotarna är här för att stanna.

Men vad får införandet av robotar för med sig för konsekvenser utöver att hanteringen av rutinmässiga arbetsuppgifter effektiviseras?

För några år sedan fick socialsekreterarna i Kungsbacka kommun stor uppmärksamhet i media då de flesta av dem sa upp sig i protest mot den förprogrammerade mjukvara som implementerats för bedömning av försörjningsstöd. Socialsekreterarna menade att algoritmen som styrde beslutsprocessen riskerar att fatta felaktiga beslut och att processen borde hanteras av människor. I Wall Street Journal-artikeln säger en forskare att den teknik som används för att scanna ansökningshandlingar förvisso hjälper till att hantera mängden ansökningar till en specifik tjänst, men att felaktiga algoritmer riskerar att göra mer skada än nytta. Samma typ av argument drivs av Joy Boulamwini, MIT-doktoranden och Algorithmic League-grundaren som upptäckte när hon påbörjade sin forskning om ansiktsigenkänning att mjukvaran inte kände igen hennes ansikte. Efter en tid gick det upp för henne varför: hon var kvinna och svart. Ansiktsigenkänningstekniken hade utvecklats av vita män, och tekniken hade alltså bara lärt sig att känna igen vita, manliga ansikten – andra ansikten var ”fel”.

Det förefaller alltså som om algoritmer inte är så objektiva som vi gärna skulle vilja tro. Robotforskaren David Mindell talar i sin bok ”Our Robots. Ourselves. Robotics and the Myths of Autonomy” (2015) om att myten om att robotar ska bli fullständigt autonoma är orealistisk och i grunden felaktig. Mänskliga intentioner, idéer och antaganden är alltid inbyggda i maskiner hävdar han. De som skapat maskinerna är därmed en slags ”technical ghosts in the machines” (s.102).

Den intressanta frågan är vilka de antaganden som är inbyggda i den teknik som nu utvecklas är och vad de får för konsekvenser. Innebär algoritmerna att kompetenta människor får svårt att få jobb, på grund av att att vissa begrepp saknas i deras ansökningshandlingar och deras ansökningar därmed sorteras bort? Konstruerar algoritmerna människor av vissa kön eller med en viss hudfärg som ”onormala”? Listan på frågor om algoritmernas konsekvenser kan – och bör – göras lång.

Min uppfattning är att teknikutveckling är något bra och spännande. Men vi behöver också kritiskt granska effekten av ny teknik när den används och vara uppmärksamma på vad konsekvenserna är. Det finns ingen objektiv algoritm – algoritmen uttrycker alltid, på något sätt, de föreställningar – ofta omedvetna – om världen som den som skrivit den bär med sig.

Anette Hallin,

Programansvarig