Att testa AI. Eva Holmquist. (avsnitt 92)

Hur testar vi AI? För att få svar på den frågan vänder vi oss till Eva Holmquist, Sr Test Specialist. Hon börjar med att avgränsa diskussionen till det vi har mest av idag: snäv, specialiserad AI. Inte generell AI som liknar en mångsidig människa, utan AI som är bra på att lösa ett specifikt problem. Det som skiljer traditionella system från AI-baserade är att de senare lär sig. System som inte har en lärande komponent har ett beteende som är samma över tid.

Så är inte fallet med intelligenta system. Det innebär att du måste ha övervakning även efter produktion, för att inte systemet ska utvecklas till nåt annat – beroende på vilken input den får. Se t ex chatbots där en tweetbot var tvungen att stängas av eftersom den blivit rasistisk. Här hade AI-testning kunnat förebygga problemet genom att sätta upp parametrar som från början rensar bort felaktig input och genom att sätta in övervakning över vissa parametrar. I andra situationer är det AIs träningsdata som felar; man kanske använder historisk data som cementerar strukturer. Systemet får helt enkelt inte rätt grund att stå på. I ytterligare fall måste man testa AIs moral. Eva ger oss målande exempel.

Hur lyckas vi med test av intelligenta system?
Ha koll på grunddatan och bedöm lärandet systemet har under produktion.
Övervaka det lärande som sker efter produktion, att det håller sig inom givna parametrar.
Kontrollera vad det är AI baserar sina analyser på.
Håll koll på hur systemen verkligen fungerar. En del system kan vara traditionella i en första anblick, men innehålla AI-komponenter. Det påverkar hur man behöver testa.
Testa som vanligt också.

Eva Holmquist, Jonas Jaani (21:50)

PRENUMERERA – podcast Effekten
iPhone, Android, Spotify, e-post

Mer information:

When AI “goes bad”
Algorithms and Bias in the Criminal Justice System
The Algorithms Aren’t Biased, We Are
Testing in the Digital Age – AI makes a difference

Eva på LinkedIn
A tester’s thoughts on Automation and AI: 2
A tester’s thoughts on Automation and AI: 3
A tester’s thoughts on Automation and AI: 4

Podcasten Effekten finns där du hittar dina övriga poddar (tex Spotify) Prenumerera med din favoritapp Klicka här för att få hjälp. Digitaliseringens podcast för dig som är beställare, konsult eller är intresserad av den pågående digitaliseringen. Aktuella poddavsnitt: Digital marknadsföring, machine learning, AI, gigekonomi, ux, digitaltransformation. En sida med alla avsnitt