Introducering Sora

Van tekst naar beeld, dat kennen we inmiddels wel. Maar OpenAI komt nu met de volgende stap van tekst naar video! Met de AI-tool Sora kun je ‘realistic and imaginative scènes’ creëren op basis van tekstuele input. 

Sora is een tekst naar video generator die video’s van maximaal een minuut lang maakt op basis van schriftelijke aanwijzingen met behulp van generatieve AI. Sora genereert video’s met zeer gedetailleerde scènes, complexe camerabewegingen en meerdere personages met levendige emoties. Het kan ook video’s maken op basis van een stilstaand beeld of bestaand beeldmateriaal uitbreiden met nieuw materiaal. Een voorbeeld hiervan is dat je een afbeelding van een bos kan laten animeren en elementen toevoegen zoals dieren, vogels of mensen. 

Uitdagingen en vooruitgang

Hoewel door Sora gegenereerde video’s complexe en ongelooflijk gedetailleerde scènes kunnen weergeven merkt OpenAI op dat er nog steeds enkele zwakke punten zijn. Waaronder enkele ruimtelijke en oorzaak-en-gevolg elementen. Een voorbeeld hiervan is dat een persoon een hap uit een koekje neemt, maar daarna heeft het koekje geen bijtspoor. Zo laat OpenAI bijvoorbeeld weten dat de tool nog moeite heeft met het onderscheiden van links en rechts.

Sora’s werkwijze

Sora analyseert de tekst prompt en haalt er de relevante trefwoorden uit zoals: het onderwerp, de actie, de locatie, de tijd en de stemming. Vervolgens zoekt het programma uit de dataset naar de meest geschikte video’s die overeenkomen met de trefwoorden. Door die video’s samen te voegen genereert het tot een nieuwe video.

Veiligheid en feedback

OpenAI zal verschillende belangrijke veiligheidsmaatregelen nemen voordat Sora beschikbaar wordt gesteld in de producten van OpenAI. Ze werken samen met ‘red teamers’, experts die gespecialiseerd zijn in het opsporen van fouten en kwetsbaarheden, zoals misleidende informatie, hatelijke inhoud en bevooroordeelde standpunten. Deze experts testen het model grondig om te zorgen dat het goed werkt en geen problematische resultaten oplevert. Daarnaast wordt Sora momenteel door deskundigen getest op mogelijke schadelijke gevolgen die deze tool met zich mee kan brengen. Deze deskundigen bestaan uit visual artists, designers en filmmakers. Ze hebben toegang om vanuit hun kennis feedback te geven op de in- en output van deze AI-tool. OpenAI heeft niet aangekondigd wanneer en hoe het Sora aan het grote publiek zal uitbrengen of wat het prijs- en licentiemodel zal zijn.