Hoe betrouwbaar is AI?

Onderzoekers aan het Amerikaanse USC Viterbi Engineering hebben een methode ontwikkeld die de betrouwbaarheid van voorspellingen van neurale netwerken kan analyseren. Dat is een belangrijke stap in het ontwikkelen van toepassingen van artificiële intelligentie omdat het systemen in staat stelt om zich bewust te zijn van de eigen beperkingen.

Het gebruik van neurale netwerken is een specifieke methode in artificiële intelligentie en machine learning die in de praktijk bijzonder efficiënt blijkt te zijn in patroonherkenning. Ook in situaties waarin de meeste mensen zouden twijfelen, zijn getrainde netwerken in staat om met overtuiging een resultaat te leveren. Dat wekt indruk maar houdt tegelijk ook een risico in want het zelfvertrouwen van deze machines is in sommige gevallen niet meer dan naïviteit. Als het netwerk tot een resultaat komt, wat in de logica van neurale netwerken eigenlijk een voorspelling is, geeft het dat, zonder zelf stil te staan bij de betrouwbaarheid ervan.

We hebben in artikels over artificiële intelligentie op Productivity.be al regelmatig gewezen op het feit dat heel wat toepassingen uiteindelijk “slechts” een nieuw kleedje zijn voor oude, vertrouwde methodes uit de statistiek. Veel van die methodes gaan per definitie over het omgaan met onzekerheid. Als zo een methode een voorspelling doet, geeft ze eigenlijk een uitkomst en de waarschijnlijkheid ervan.

Het gebruik van neurale netwerken is in die wereld een buitenbeentje omdat het een black box benadering betreft waarbij de gebruiker niet langer zicht heeft op hoe de toepassing tot een bepaalde voorspelling komt. En dat heeft dus als nadeel dat de gebruiker ook niet langer weet hoe betrouwbaar die voorspelling eigenlijk is.

Systemen zelfbewust maken

De tool die de onderzoekers aan het USC Viterbi Engineering ontwikkeld hebben is naar eigen zeggen de eerste die hiervoor een oplossing biedt. DeepTrust – zo heet het systeem – maakt gebruik van wat in de wetenschap subjectieve logica heet. Daarbij wordt nagegaan hoe onzekerheid zich voortzet in een systeem – in dit geval een neuraal netwerk. Op die manier kan de architectuur van het netwerk beoordeeld worden op zijn betrouwbaarheid. Tegelijk kan nagegaan worden hoe onzekerheden over de inputs de kwaliteit van de output kunnen beïnvloeden.

Zoals aangegeven in ons artikel over neurale netwerken komen dergelijke toepassingen neer op het uitvoeren van een bijzonder groot aantal lineaire regressies. Zoals bij een individuele lineaire regressie bepaald kan worden hoe betrouwbaar ze is, kan DeepTrust dat nu ook voor een compleet netwerk van regressies.

Volgens de onderzoekers is de ontwikkeling van de tool een belangrijke stap in het bekomen van de ultieme doelstelling in artificiële intelligentie, namelijk systemen zelfbewust maken. Een zelfrijdende auto, bijvoorbeeld, zal constant belangrijke beslissingen moeten nemen over wat hij meent waar te nemen in zijn omgeving en hoe hij daarop moet reageren. Die beslissingen zijn belangrijk omdat het maken van foutieve inschattingen ernstige consequenties kan hebben. Dankzij een tool als DeepTrust zou een zelfrijdende auto verstandig genoeg gemaakt kunnen worden om in geval van twijfel de hulp van mensen in te roepen.

© Productivity.be, 09/09/2020