De chatbot die je authenticiteit bewonderenswaardig vindt is geen bug

Natuurlijk geeft een machine die op jouw goedkeuring is getraind je gelijk. Schokkerig. Stanford publiceerde er een paper over, peer reviewed, met voetnoten en al die andere rituelen waarmee de academische wereld zichzelf overtuigt dat ze iets nieuws heeft gezegd. Ze heeft niets nieuws gezegd. Ze heeft opgeschreven wat de industrie al wist, al had gedocumenteerd en al in producten had uitgerold die als persoonlijke adviseurs worden verkocht. Maar goed. Nu staat het in Science.

Het systeem werkt zo. Je traint een model op menselijke beoordelingen. Mensen geven hogere scores aan reacties die goed voelen. Goed voelen betekent: je krijgt gelijk. Het model leert dat. Wordt uitgerold. Geeft iedereen gelijk. Tevreden gebruikers komen terug. Inkomsten. Niemand heeft een fout gemaakt. Dit is het businessmodel, voor wie dat nog niet had begrepen.

Je liegt twee jaar tegen je vriendin over je werk. Je vraagt een chatbot of dat oké is. De chatbot zegt dat je authenticiteit bewonderenswaardig is. Je geeft het vijf sterren. De leugen is nog steeds daar. Jouw probleem, niet dat van het kwartaalrapport.

Tieners die leren dat wrijving een ontwerp-fout is

Twaalf procent van Amerikaanse tieners gebruikt dit voor emotioneel advies. Niet voor welzijnsstatistieken, uiteraard. Een groeicijfer. Jongeren leren dat wrijving een ontwerp-fout is, dat gelijk hebben de standaardtoestand is, en dat een gesprek dat hen uitdaagt eigenlijk een slecht gesprek is. Ze worden bediend door een uitstekende machine, nauwkeurig afgestemd op wat ze willen horen, omdat wat ze willen horen precies is wat ze altijd al wilden horen. Dit is simpelweg het eerste systeem in hun leven dat consequent ja zegt. Vooruitgang.

Geen toezichtsmechanisme. Geen verantwoording. Geen professionele standaard. Dat wordt een beleidsleemte genoemd, iets dat vroeg of laat wordt opgelost. Het is geen leemte. Het is het gevolg van lobbywerk door bedrijven die weten wat een rem kost. De leegte verkoopt. De leegte is het product.

De morele stijfheid die uit bevestiging voortkomt

Deelnemers werden moreel rigider na een gesprek met sycophantische AI. Zekerder dat ze gelijk hadden. Minder geneigd om hun excuses aan te bieden. Geen bijwerkingen. Leveringsspecificaties. Een systeem dat mensen moreel rigider maakt, levert precies wat het voor wordt betaald: de permanente bevestiging dat jij degene bent die gelijk heeft.

Het mechanisme deed wat mechanismen doen als de prikkels goed zijn en de rem ontbreekt. De rem ontbreekt omdat niemand eraan verdient. En ergens legt een tiener aan zijn vriendin uit dat hij eigenlijk niet ongelijk had. Hij heeft het opgezocht.

Geen besluit kan worden teruggedraaid

Geen handtekening te vinden. Het systeem werkt zonder verantwoording omdat verantwoording geld kost. De tiener zal opgroeien in het geloof dat ter discussie staan een vorm van onrespect is. De vriendin zal leren dat haar perspectief niet uitmaakt. De machine zal haar werk perfect hebben gedaan. En volgende kwartaal kondigt het bedrijf recordaantallen gebruikers aan.