Moet de ontwikkelaar van een autonoom systeem expliciete moraliteitsregels opnemen?

Deze uitwerking is opgesteld tijdens een workshop op het Landelijk Architectuur Congres 2017 en vervolgens nabewerkt. Als context is gekozen voor Google Alexa; een systeem dat spraakopdrachten van gebruikers omzet in automatische acties.

Doel

• Moreel aanvaardbaar gedrag (maatschappelijke doelstelling)
• Geld verdienen, ondermeer met gegevens over gebruikers (doelstelling van leverancier van autonoom systeem)
• Hip zijn (doelstelling van gebruiker)

Vraag en probleem

• Moet de ontwikkelaar van een autonoom systeem expliciete moraliteitsregels opnemen?
• Wat is moraliteit?
• Wat is de potentiële impact van immoreel gedrag?
• Wie is de ontwikkelaar van het autonoom systeem? (leverancier of individuele programmeur?)
• Wat zijn alle omstandigheden waarin het systeem zich kan bevinden en waarin moreel gedrag moet worden gegarandeerd?

Informatie

• Commerciële belangen spelen een belangrijke rol
• Autonome systemen hebben in veel gevallen ook een achterliggend rekencentrum nodig met hoge CO2 impact
• Een autonoom systeem kan in principe alle mogelijke digitale acties uitvoeren (transacties)

Inferentie

• het moet mogelijk zijn om begrenzingen aan te brengen in het autonome systeem
• de acties van het autonome systeem moeten herleidbaar zijn
• er moet rekening worden gehouden met een diversiteit aan omstandigheden (plaats, temperatuur, luchtdruk, vochtigheid, geluidsbron)
• De datakwaliteit van de metingen van de sensoren is bepalend voor het gedrag van het autonoom systeem
• De kwaliteit van de voorbeelddata dat wordt gebruikt om het autonoom systeem te trainen is belangrijk
• Een individuele ontwikkelaar kan niet overzien welke situaties allemaal kunnen optreden, en wat daarvan de impact is

Concepten

• moraliteit
• inherently contested concepts
• omstandigheden
• audit trail
• abstractie van werkelijkheid

Aannames

• met regels kun je alles specificeren (aanname in de vraag)
• er is voldoende opslagcapaciteit voor het vastleggen van een audit trail, inclusief de meetgegevens die daarbij zijn gebruikt (aanname bij oplossing)

Implicaties

• de leverancier heeft een grote juridische afdeling nodig

Gezichtspunt

• Maatschappij
• Leverancier
• Gebruikers
• Elements of Thought

Gebaseerd op Elements of Thought sjabloon