Meer menselijk dan menselijk? Hoe de toekomst van videogame-AI de manier waarop we spelen zal veranderen

(Afbeelding tegoed: Ubisoft)

Er gebeurde iets vreemds tijdens de ontwikkeling van Assassin's Creed Valhalla . Terwijl gamedirecteur Eric Baptizat een build aan het testen was, merkte hij dat hij overal werd gevolgd door twee niet-spelerpersonages. Waar hij ook ging, wat hij ook deed, deze krijgers zouden er zijn. Het leek erop dat een gril in het MetaAI-systeem van Ubisoft, dat NPC's volharding en doel in een gamewereld geeft, hen tot ijverige discipelen had gemaakt. Een beetje gefrustreerd reisde Baptizat snel naar de andere kant van het land om van hen af ​​te komen. Tien minuten later kwamen ze opdagen. Ze waren door Engeland gewandeld om hem te bereiken - hun leider en held. Niemand heeft dat zo ontworpen, maar als onbedoeld gedrag vertelt het ons veel over waar kunstmatige intelligentie in videogames vandaag staat en hoe het zich in de toekomst moet ontwikkelen.

In sommige opzichten is de AI van videogames de afgelopen tien jaar niet sterk geëvolueerd - althans wat betreft de manier waarop niet-spelerpersonages handelen en reageren in virtuele werelden. De meeste games gebruiken technieken zoals gedragsbomen en eindige-toestandsmachines, die AI-agenten een reeks specifieke taken, toestanden of acties geven, gebaseerd op de huidige situatie – een beetje zoals het volgen van een stroomdiagram. Deze werden in de jaren negentig in games geïntroduceerd en ze werken nog steeds prima, vooral omdat de actie-avonturengames van de laatste generatie niet echt grote vooruitgang in gedragscomplexiteit vereisten.

De meeste NPC's patrouilleren gewoon in een specifiek gebied totdat de speler interactie met hen heeft, waarna ze proberen een uitdagender doelwit te worden om te raken. Dat is prima in kleine ruimtes, maar in grote werelden waar NPC's de vrijheid hebben om te zwerven, schaalt het gewoon niet. Meer geavanceerde AI-technieken zoals machine learning, waarbij algoritmen worden gebruikt om binnenkomende gegevens te bestuderen, deze te interpreteren en in realtime te beslissen over een actie, geven AI-agenten veel meer flexibiliteit en vrijheid. Maar het ontwikkelen ervan is tijdrovend, rekenkundig duur en een risico omdat het NPC's minder voorspelbaar maakt - vandaar de stalkingsituatie van Assassin's Creed Valhalla.

Naarmate open-wereld en op verhalen gebaseerde games echter complexer worden en moderne pc's en consoles steeds meer authentieke en gedetailleerde omgevingen vertonen, groeit de behoefte aan geavanceerdere AI-technieken. Het zal raar en vervreemdend zijn om in een bijna fotorealistische wereld te worden geduwd vol ingewikkelde systemen en verhalende mogelijkheden, om vervolgens te ontdekken dat niet-spelerpersonages zich nog steeds gedragen als zielloze robots.

De menselijke stad

(Afbeelding tegoed: Ubisoft)

Dit is iets wat de ontwikkelaars begrijpen die de grenzen van gamedesign in de open wereld verleggen. Ubisoft heeft bijvoorbeeld toegewijde AI-onderzoeksteams in de studio's Chengdu, Mumbai, Pune en Montpelier, evenals een Strategic Innovation Lab in Parijs en het La Forge-lab van de studio in Montreal, en werkt samen met technologiebedrijven en universiteiten aan academische AI onderzoeksonderwerpen.

Een praktisch voorbeeld van dit alles is: Watch Dogs Legion , die een goede claim heeft dat het het eerste echte open-wereldavontuur van de volgende generatie is. Om een ​​authentiek Londen te creëren vol met levende, zeer individuele inwoners, heeft de studio haar Census-systeem ontwikkeld, dat gedetailleerde biografieën en dagelijkse routines bouwt voor alle NPC's waarmee je communiceert, inclusief relaties met andere personages in de wereld - dus als je een voetganger aanrijdt de ene dag komt hun verdrietige broer of beste vriend misschien achter je aan.

'Bovendien hebben we een groepsgedragsysteem dat vertakkende gebeurtenissen genereert, zoals misdaden en identiteitscontroles door de politie', zegt Martin Walsh, technisch directeur AI en gameplay van Watch Dogs Legion. 'Als je iemand in moeilijkheden ziet, kun je ze helpen, en dit zal er ook voor zorgen dat ze jou persoonlijk en DedSec als geheel aardig gaan vinden. We casten ook mensen met wie je eerder hebt samengewerkt in ondersteunende rollen in toekomstige missies. De personages in Watch Dogs: Legion hebben een leven dat verder gaat dan wat je in eerste instantie ziet, en als je ervoor kiest om in hun leven in te grijpen, heeft dat blijvende gevolgen.'

(Afbeelding tegoed: Ubisoft)

'De personages in Watch Dogs: Legion hebben een leven dat verder gaat dan wat je in eerste instantie ziet en als je ervoor kiest om in hun leven in te grijpen, heeft dat blijvende gevolgen'

Martin Walsh

Voor Ubisoft is dit slechts de eerste stap in een doorlopend proces. 'De grootste uitdaging voor AI is om de misschien wel meest complexe en mysterieuze capaciteit van het menselijk brein na te bootsen: verbeeldingskracht', zegt Julien Desaulniers, de programmeerteamleider van AI en Gameplay op Assassin's Creed Valhalla. 'Door AI verhalende inhoud te laten genereren, wordt dit naar een heel nieuw niveau getild, een niveau dat zelfs niet alle mensen goed kunnen presteren.'

Wat hij en Walsh voorzien, is een nieuwe generatie AI-agenten die een meer actieve, intelligente rol kunnen spelen in het verhaal van de game, en misschien meteen nieuwe missies en zijverhaalelementen kunnen genereren. Dit vereist een combinatie van opkomende AI-technologieën, waarmee ontwikkelaars nog maar net beginnen te worstelen. Een voorbeeld is natuurlijke taalverwerking (NLP), een type AI-programma dat geschreven of gesproken menselijke communicatie simuleert, met andere woorden, het schrijft of (in combinatie met realtime spraaksynthese) praat als een persoon.

Het gebruik van NLP in games zou AI's in staat stellen om mensachtige gesprekselementen te bouwen en deze vervolgens op een naturalistische manier uit te spreken zonder dat vooraf opgenomen dialooglijnen door een acteur nodig zijn. Combineer deze met AI-ondersteunde karakteranimatie, die veel studio's nu gebruiken om motion-capture te vergroten en karakters natuurlijker te laten reageren op de omgeving, en je hebt misschien NPC's die kunnen denken, praten, handelen en plannen als echte mensen .

Een spel leren acteren

(Afbeelding tegoed: Ubisoft)

We zijn er nog een klein eindje vanaf, maar het komt eraan. 'Het vermogen van NPC's om dingen te zeggen die niet gepland en niet van tevoren zijn vastgelegd, is een aspect van technologie dat we nog steeds niet onder de knie hebben', zegt Desaulniers. 'Hoewel we systemen voor ons hebben die lijnen kunnen leveren met redelijk overtuigende prestaties op het gebied van virtueel acteren, zijn we nog niet helemaal 'er' om dit in realtime te doen terwijl de speler interactie heeft met de gamewereld. Al met al is dit een zeer spannende uitdaging voor ons, met een enorm potentieel voor zowel tech-ontwikkelaars als verhalenvertellers.' Walsh beaamt: 'In de nabije toekomst zal de synthese van spraak en animatie goed genoeg zijn om personages en verhalen te creëren zonder dat we alle data hoeven te capteren en vast te leggen. Dit zou veel snellere contentgeneratie mogelijk maken, wat echt zou kunnen veranderen hoe we personages maken en welke soorten verhalen kunnen worden verteld.'

Er zijn al bedrijven die hieraan werken. De in het Verenigd Koninkrijk gevestigde start-up Sonantic heeft een kunstmatige stemtechnologie ontwikkeld, een soort virtuele acteur, die dialooglijnen kan leveren met een overtuigende emotionele diepgang en angst, vreugde en schok kan toevoegen, afhankelijk van de situatie. Het systeem vereist een echte stemacteur om een ​​paar uur stemopnames te leveren, maar dan leert de AI de stem en kan de rol zelf vervullen. Sonantic werkt al samen met een reeks studio's, waaronder Splash Damage en Obsidian, en ze gebruiken het meestal tijdens de ontwikkelingsfasen om in-game dialogen te testen, maar in de toekomst kan de technologie worden gebruikt om in-game dialogen te maken. veel meer contextueel en reactiever. 'Binnenkort zullen stemmen live, dynamisch in het spel worden uitgezonden', zegt mede-oprichter en CEO Zeena Qureshi. 'Als je personage buiten adem is, klinken ze buiten adem. Als je een personage in een vorig level onrecht hebt aangedaan, zullen ze later geïrriteerd over je klinken.'

Deze vooruitgang van AI in het ontwikkelingsproces gaat echter niet over het vervangen van gameschrijvers en -ontwerpers - Ubisoft gaat Far Cry 7 niet alleen overdragen aan Skynet. Maar het kan leiden tot enorme veranderingen in de manier waarop verhalen zich afspelen en de manier waarop we omgaan met NPC's. Misschien zullen we eindelijk een einde maken aan opdringerige niet-interactieve tussenfilmpjes, met intelligente NPC's die in staat zijn om verhaalmomenten en exposities te bieden tijdens het spel, op momenten waarop elke individuele speler ze moet ervaren, afhankelijk van wat ze al hebben gedaan en gezien. Mogelijk zien we ook de achterkant van vaste, vooraf geschreven dialoogbomen in RPG's zoals Mass Effect en The Witcher - een AI-agent met een NLP-component zou realistische gesprekken met spelers kunnen aangaan, hetzij via spraak of tekst op het scherm, waardoor het vooruitzicht van Romancing Garrus veel meer betrokken.

(Afbeelding tegoed: Obsidiaan)

'Als je personage buiten adem is, klinken ze buiten adem. Als je een personage in een vorig level onrecht hebt aangedaan, zullen ze later geïrriteerd over je klinken'

Zeena Qureshi

Het gebruik van machine learning-technieken kan NPC's ook reactiever maken op acties van spelers. Denk aan die in-game momenten waarop personages lange toespraken houden terwijl we werkeloos de kamer verkennen, op tafels springen, potplanten oppakken, heel dicht bij de spreker komen... Tot nu toe blijft dat personage gewoon onbewust praten, maar als ze zijn een AI-agent met NLP en AI-ondersteunde animaties, ze zouden kunnen reageren. 'We gaan zeker games zien waarbij de NPC zegt 'waarom zet je die emmer op je hoofd?'', zegt AI-onderzoeker Julian Togelius. 'Dit kun je uit een taalmodel en een belevingsmodel bouwen, en het komt de beleving van het leven echt ten goede.

'Ik bedoel, hoe kom je erachter of je met een chatbot of een medewerker van de klantenservice praat als je online bent? Nou, je doet het door ze te dwingen iets te erkennen en te reageren op iets dat je hebt gezegd of gedaan – dit wordt momenteel onderbenut in het ontwerpen van videogames en ik denk dat het in de toekomst veel meer zal worden gebruikt, dus het komt door dat ze de speler in sommige manier. Het is de illusie van het leven.'

Togelius, die werkt aan een onaangekondigd videogameproject dat gebruikmaakt van deze technologieën, is enthousiast over het vooruitzicht van praatgrage autonome agenten. 'Je zou vrije invoer kunnen gebruiken en de uitvoer zou elke keer anders zijn, wat veel geloofwaardiger zou zijn. Je zou ook een interface in Mass Effect-stijl kunnen hebben, waar de speler simpelweg 'zeg een bedreigend ding' bepaalt, en als je hetzelfde te vaak achter elkaar vraagt, kan het taalmodel erg geïrriteerd raken en je vertellen om te vertrekken .'

Taallessen

Krediet: Warner Bros. Interactief

'De andere constante inspiratie is het rollenspel op het tafelblad; we proberen in feite geweldige digitale Dungeon Masters te zijn'

Michael de Plater

Verschillende AI-codeerders die we spraken, waren bijzonder enthousiast over GTP-3, het zeer geavanceerde NLP-model dat is ontwikkeld door het in San Francisco gevestigde laboratorium OpenAI, eigendom van Elon Musk. GTP-3, dat enorme hoeveelheden tekst kan lezen en vervolgens zijn eigen geschreven inhoud kan genereren, is al gebruikt om tijdschrift- en krantenartikelen te maken. Dus misschien zien we in de toekomst een open-wereldavontuur met met GTP-3 uitgeruste NPC's? 'Je krijgt heel goede gevarieerde resultaten van GTP-3, maar er is een controleprobleem, en Open AI is zich daar heel goed van bewust en van het potentieel voor PR-rampen', zegt Togelius. Kortom, wat als je een AI-spelpersonage krijgt dat besluit om bijvoorbeeld racistische of seksistische uitlatingen te gebruiken, of gewoon helemaal los gaat in de gamewereld?

Het is iets waar Monolith Productions, het team achter Middle-earth: Shadow of War, zich van bewust is terwijl het voortbouwt op zijn baanbrekende Nemesis-systeem, dat realtime rivaliteit creëert tussen de speler en NPC's. 'Algemene technologische ontwikkelingen op gebieden als natuurlijke taalverwerking en tekstgeneratie zijn fascinerend', zegt Michael de Plater, creative VP bij de studio. 'Er is een prachtige blog van Janelle Shane, AI Weirdness genaamd, met geweldige voorbeelden van de waanzin die AI kan genereren, die zowel zijn sterke punten als zijn beperkingen aanspreekt.'

'Interactieve fictie is constant fascinerend, en Emily Short heeft een briljante blog over interactieve verhalen en AI', vervolgt de Plater. 'Wat de recente games betreft, was de reactiviteit en het opbouwen van relaties in Hades door Supergiant Games briljant. De andere constante inspiratie is het rollenspel op het tafelblad; we proberen eigenlijk geweldige digitale Dungeon Masters te zijn.'

Het antwoord op malafide AI's kan een strak gecontroleerd vocabulaire en een paar vooraf geschreven aanwijzingen zijn. 'Je zou vrije gesprekken kunnen voeren, maar je zou dit ook kunnen combineren met stukjes en beetjes gescripte tekst', zegt Togelius. 'Ik verwacht dat binnen een jaar iemand anders in wezen GTP-3 in een game heeft geïmplementeerd.'

Jij wordt in de gaten gehouden

Krediet: Rockstar

'Stel dat je de speler een ophaalopdracht wilt geven; je zou het kunnen veranderen, afhankelijk van wat je van die speler verwacht'

Julian Togelius

Een ander gebied van AI dat in de toekomst waarschijnlijk belangrijker zal worden, is het modelleren van spelers, waarbij acties van spelers binnen een game worden bestudeerd en onthouden door het AI-systeem. Natuurlijk hebben we veel games gezien met vijanden die spelerstactieken leren en hun eigen tactieken dienovereenkomstig aanpassen - het vechtgame-genre zit vol met voorbeelden - en we zijn ook gewend aan vijanden die je positie in de gamewereld aanduiden. Maar we houden ook van games met personages die ons gewoon opmerken - zoals de NPC's die commentaar geven op je bloederige kleren in Red Dead Redemption 2 , of de barmannen in Hitman 3 die vragen wat je in godsnaam aan het verstoppen bent achter de drankenkoelkast.

Togelius ziet hiervan in de nabije toekomst veel geavanceerdere voorbeelden. 'Als je een goed idee hebt van wat een speler zou kunnen doen of waar ze graag naartoe gaan in de wereld, dan zijn er veel verhaalpatronen die op veel verschillende manieren als speurtochten kunnen worden gestart', zegt hij. 'Stel dat je de speler een fetch-quest wilt geven, je zou het kunnen veranderen, afhankelijk van wat je van die speler verwacht... als het het soort speler is dat verre eilanden gaat verkennen, kun je beslissen waar je ze naartoe wilt sturen. Er zijn veel lichte missies die je opnieuw kunt balanceren, dus er is hier sluipen of daar vechten, gebaseerd op eerdere ervaringen van de speler. Je kunt nog steeds de hoofdzoekreeks ontwerpen, maar hoe dat zich in het spel manifesteert, kan worden gewijzigd op basis van wat je weet over de individuele speler.'

We hebben veel games gezien, zoals Fable, met eenvoudige moraliteitssystemen waarin de wereld je anders behandelt als je goed of slecht bent geweest. Maar moderne AI zou meer nuance en complexiteit kunnen toevoegen, waarbij herkenning zich op diepere manieren manifesteert dan reputatiepunten. 'Als er een bepaald symbool is dat je altijd door een smid op je wapenrusting laat graveren, krijgen andere personages misschien hetzelfde symbool omdat ze het op jou hebben gezien. En als je op monsters jaagt, mag je altijd dezelfde techniek gebruiken om achter hen aan te sluipen en ze te beschieten met een giftige pijl, dan kijk je om je heen en realiseer je je dat NPC's het nu op dezelfde manier doen. Ze leren je bewegingspatronen en repliceren deze. Hiervoor hebben we moderne machine learning nodig', zegt Togelius.

Spelersmodellering zou ook kunnen worden gecombineerd met NLP in toekomstige open-wereldavonturen, zodat je mensen in de gamewereld verhalen aan elkaar kunt laten vertellen over de dingen die je hebt gedaan. Geruchten en roddels zullen worden uitgewisseld tussen NPC's, evenals mythen en legendes. Stel je voor dat je in een dorp in The Witcher 4 aankomt om een ​​minstreel te vinden die liedjes zingt over je laatste ontmoeting met de draak of de heel specifieke manier waarop je met de Bloody Baron omging.

Beweging en mimiek

(Afbeelding tegoed: EA)

Net als Ubisoft is Electronic Arts sterk betrokken bij AI-onderzoek. De uitgever heeft centrale teams zoals EA Digital Platform en een speciale onderzoeksafdeling, SEED, die werkt met geavanceerde AI-technologieën. Net als andere ontwikkelaars, is een van de belangrijkste interesses het gebruik van AI om het creëren van activa te vergroten, zoals extreem natuurlijke en gedetailleerde texturen, maar ook meer authentieke en reactieve karakteranimatie. De mogelijkheid om mo-cap-animaties te combineren met realtime reacties zal van vitaal belang zijn om ervoor te zorgen dat personages op een realistische manier omgaan met complexe spelwerelden, in plaats van tegen deuren aan te rennen of onhandig trappen op te lopen.

'Het mengen van animaties en het matchen van bewegingen wordt nu afgehandeld door machine learning', zegt Tommy Thompson, directeur van het adviesbureau AI en Games, en een van de meest vooraanstaande experts op het gebied van kunstmatige intelligentie van videogames. 'Het berekent de beste mixpunten tussen animaties en richt die animaties opnieuw op basis van verschillende contexten. Een personage zou dus in 10 verschillende stoelen kunnen gaan zitten, met dezelfde animatie, en de AI-engine zou de bewegingen naadloos kunnen laten overvloeien.'

Op dit moment onderzoekt EA methoden om deep learning te gebruiken om realistische bewegingen en gezichtsgelijkenissen rechtstreeks uit video vast te leggen in plaats van dure en tijdrovende motion capture-sessies uit te voeren. 'Dit is iets dat naar mijn mening een grote impact zal hebben, vooral voor sportgames in de toekomst', zegt Paul McComas, hoofd animatie van EA. 'Met deze bewegingsgegevens kunnen we steeds meer gameplay-situaties dekken, en het zal ook natuurlijker lijken omdat we animatiegegevens krijgen van echte atleten 'in het wild', als je wilt, in tegenstelling tot het vacuüm van een motion capture studio.'

'Dit betekent meer realisme, vooral voor contactsporten, en meer levensechte kenmerkende bewegingen en gedragingen van grote persoonlijkheden. Als we nieuw materiaal van video kunnen vastleggen, worden we ook reactiever, zoals het snel introduceren van een nieuwe beweging van een atleet of zelfs scenario's maken op basis van echte gebeurtenissen, kort nadat ze hebben plaatsgevonden', zegt McComas.

(Afbeelding tegoed: EA)

De toekomst van gamen

Krediet: guerrillagames

Wat zullen next-gen games in de toekomst opleveren? Nu de PS5 en Xbox Series X eindelijk hier zijn, gaan we zitten met Sumo Digital, Bloober Team, Neon Giant en LKA om te leren wat spelers mogen verwachten van een nieuwe generatie gaming.

De uitgever onderzoekt ook het gebruik van een combinatie van versterkend leren (waarbij een AI leert met vallen en opstaan) en imitatieleren (waarbij het leert door menselijke acties te bekijken en na te bootsen), om FIFA- en Madden-spelers te creëren die zich nauwkeurig gedragen als hun echte - tegenhangers in het leven. Maar er zijn bredere toepassingen hiervan. Als we AI's kunnen trainen om zich als echte voetballers te gedragen, dan kunnen we ze ook trainen om zich te gedragen als superster-pro-gamers en streamers.

'Denk hier eens over na in de context van' Fortnite ', zegt Togelius. 'Elke speler zou de kans kunnen krijgen om tegen een virtuele ninja te spelen – er is een hele subset van het gamepubliek die een moord zou doen voor die kans. Je zou de beste bemanning van Sea of ​​Thieves-streamers kunnen nemen en een AI-team kunnen creëren, hoewel dat heel moeilijk is omdat je vier menselijke spelers krijgt om te spelen Zee van Dieven effectief is al moeilijk genoeg, laat staan ​​vier AI's!'

EA is ook geïnteresseerd in het gebruik van machine learning om door gebruikers gegenereerde inhoud te verbeteren. 'Het zal het voor gebruikers gemakkelijker maken om avatars te maken die op zichzelf lijken met alleen een telefoon, gebaren en gezichtsuitdrukkingen vast te leggen, en het biedt slimmere tools om intuïtief niveaus en middelen te creëren', zegt Fabio Zinno, senior software-engineer bij EA. 'Ik denk ook dat Natural Language Processing gamers met een handicap zal helpen om bijvoorbeeld tekst uit spraak te halen.'

De volgende generatie avonturen in de open wereld zal op de speler reageren, met missies die afwijken van jouw acties en voorkeuren, en met personages die zowel empathie als agressie simuleren, en die jou als individu leren kennen. Die twee NPC's die Eric Baptizat van Ubisoft tegenkwam, die hem door het hele land volgden, niet omdat de game dat zei, maar omdat ze dat wilden, kunnen ons eigenlijk veel vertellen over waar games naartoe gaan. Reactief, oplettend, soms een beetje onvoorspelbaar. Het is nogal ironisch dat al dit ongelooflijk geavanceerde onderzoek en ontwikkeling gaat naar iets dat zo schijnbaar eenvoudig is: de toekomst voor games is om meer zoals wij te worden.

---

Veel dank aan Tommy Thompson die voor dit artikel een enorme hoeveelheid technische achtergrondinformatie over AI heeft verstrekt. Zie zijn uitstekende YouTube-kanaal, AI en games , hier .