Google Genie forestiller sig spil ud fra stillbilleder

Det nye Genie-projekt fra Googles Deepmind tager AI-videoskabelse til et nyt niveau ved at forstå, hvordan spil fungerer. I forlængelse heraf kan det fremskynde udviklingen af maskinlæring.

Forskerne spekulerede på, om det ville være muligt at få en AI til at forstå forskellen mellem et interaktivt spil og en video. Det vil sige, at den ville forstå, at der er en hovedperson, som er adskilt fra baggrunden, og at det er noget, man kan styre med en spilcontroller, så den gør forskellige ting afhængigt af spillerens beslutninger.

For at lære modellen, hvordan spil fungerer, startede de med 200.000 timers videoer fra forskellige spil. Det blev så filtreret ned til 30.000 timer fra hundredvis af 2D-spil. Det blev så igen brudt ned til 200 millioner parametre, som algoritmerne kunne begynde at analysere.

<

>

(Animering: Google Genie)

Herefter forsøgte man at lære modellen, hvilken slags knaptryk fra spilleren der kunne have fået figuren til at bevæge sig, som den gjorde i videoen. Det giver Genie mulighed for at se på et skærmbillede fra et spil og gætte, hvordan det næste billede vil se ud, hvilket genererer en lille video.

Genie skulle også være i stand til at skabe en lille spilvideo ud fra simple tegninger, fotos eller endda ud fra en tekstbeskrivelse, som så først køres gennem Googles ImageGen2.

Det skal dog siges, at projektet er på begynderniveau. Videoen genereres med ét billede i sekundet, hvilket er milevidt fra billedhastigheden i et rigtigt spil. Billedkvaliteten er ikke fantastisk, og videoen er meget kort.

Don’t forget: This is the worst it will ever get. Soon it will work perfectly. 🚀📈🚀📈 pic.twitter.com/03sVXq1jvE

— Jeff Clune (@jeffclune) February 26, 2024

Forskerne ser det dog stadig som et stort fremskridt og har gjort det muligt for AI’en at se film af industrirobotter og forudsige, hvordan videoen fortsætter ved at forstå, hvad der sker.

De mener, at Genie i fremtiden kan bruges til at generere realistiske videoer til at træne andre AI-modeller.

Læs mere om Genie her.

Jonas Ekelund

(f. 1969): Journalist og nyhedsredaktør. Jonas har arbejdet for Lyd & Billede siden 2007 og skriver om det meste, der kan kaldes bærbart, dvs. smartphones, trådløse højttalere og hovedtelefoner. Indimellem trænger hans tests sig ind på kollegernes områder – multirumslyd, hjemmebiograf og foto. Jonas startede sin karriere som tech-journalist på IDG og har skrevet for PC för Alla, Internetworld og det, der senere blev til M3.