Vi har tidligere skrevet om, hvordan forskere brugte Google Genie til at se, om en AI kunne forstå forskellen mellem video og spil. Om den kunne generere en video af noget, der ligner et spil, ud fra et stillbillede. Resultatet var så som så, men stadig lovende, da den så ud til at forstå konceptet. Nu har Google og forskere ved Tel Aviv University afsløret en AI-model, der kan simulere 3D-actionspillet Doom fra 1993.
Dette er GameNGen, som bruger teknologi lånt fra Stable Diffusion til at generere billeder af spillet. AI’en er blevet trænet ved at se videoer af spillet og er nu i stand til at simulere en spilsession, der faktisk ligner spillet meget tæt. Det fik spiludvikleren Nick Dobos til at skrive på X: “Hvorfor skrive komplekse softwareregler i hånden, når AI’en kan finde ud af pixels for dig?”.
Turns out the answer to ‘can it run DOOM?’ is yes for diffusion models,” skrev Stability AI’s forskningschef Tanishq Mathew Abraham
Annonce
Selvom GameNGen i dag er meget begrænset, peger den på en fremtid, hvor man i stedet for at have programmører, der møjsommeligt skriver kode, i stedet har manuskriptforfattere og kunstnere, der beskriver spillet for en AI. Den genererer så, hvad der er på skærmen i realtid for spilleren. Noget, der måske kommer til at hedde neural rendering. Faktisk forudsagde Nvidias CEO Jensen Huang tilbage i marts, at størstedelen af spilgrafikken vil blive genereret i realtid af AI inden for 5-10 år.
Et stort problem, der skal løses, er, at spil er meget regelbaserede. Eftersom dagens AI-generation gætter på, hvad der vil ske som det næste, spekulerer vi i på, hvordan det vil se ud, hvis man spiller spillet igen. Vil det være helt anderledes? Hvordan ville spillerne kunne konkurrere med hinanden, hvis spillene ikke er identiske?
I gameplay-videoen ser vi f.eks., at AI’en ikke forstår sammenhængen mellem at samle ammunition op og tælleren for mængden af ammunition, der stiger.
Et andet problem er, at videoer, der genereres på denne måde, altid indeholder små fejl. Og fordi den næste frame er baseret på de foregående, hober fejlene sig op, indtil resultatet er ubrugeligt. Forskerne har utvivlsomt meget at arbejde med i fremtiden.
