Sora di OpenAI trasforma il testo in bellissimi video

OpenAI crea Sora: l’AI capace di generare video realistici a partire dai prompt. Cosa è, come funziona, come si usa e cosa si può fare con Sora di OpenAI

Intelligenza artificiale Sora di OpenAI

Grandi novità arrivano da OpenAI, una delle più famose società che operano nel campo dell’intelligenza artificiale.

Dopo il lancio di ChatGPT (per i testi) e DALL-E (per le immagini), OpenAI sgancia la bomba e presenta Sora, un nuovo modello di intelligenza artificiale che genera video estremamente realistici e definiti a partire semplici prompt testuali.

Proprio così: con Sora basta descrivere a parole ciò che si vuole rappresentare e l’AI crea un video originale, completo e quasi indistinguibile dalle riprese reali.

Ecco cosa può fare Sora

Più di mille parole, ecco un video che mostra le incredibili potenzialità di Sora.

Ti basti sapere che il risultato è stato ottenuto impartendo all’AI questo prompt testuale: 

La bellissima e innevata città di Tokyo è vivace. La telecamera si muove attraverso le vivaci strade della città, seguendo diverse persone che si godono il bellissimo tempo nevoso e fanno shopping nelle bancarelle vicine. Splendidi petali di sakura volano nel vento insieme ai fiocchi di neve

Ed ecco il risultato che lascia a bocca aperta:

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

Come funziona Sora

Sora opera come un modello di diffusione, che inizia la creazione di un video da una base simile a rumore bianco, per poi affinarlo progressivamente eliminando il rumore attraverso numerosi step.

“Con Sora, è possibile generare video completi in un unico processo o ampliare video già creati per allungarne la durata. Implementando la previsione di sequenze di frame, abbiamo superato la sfida di mantenere costante l’identità di un soggetto anche quando questo esce temporaneamente dal campo visivo”, spiega OpenAI.

OpenAI afferma che Sora è capace di creare scene intricate con diversi oggetti o personaggi in movimento, riproducendo con precisione tipologie specifiche di movimento e dettagli ambientali.

Questo perché il modello non solo interpreta fedelmente le istruzioni testuali, ma ha anche una comprensione di come gli elementi richiesti si manifestano nel mondo reale.

La versatilità di Sora si manifesta nella sua capacità di produrre video completi in un solo tentativo o di espandere video preesistenti allungandone la durata.

Attraverso la previsione di sequenze di fotogrammi, il modello supera la sfida di mantenere costante l’aspetto di un soggetto, anche quando questo esce temporaneamente dal campo visivo.

Simile ai modelli GPT per il testo, Sora si avvale di un’architettura basata sui trasformatori, che le conferisce notevoli vantaggi in termini di scalabilità.

Il modello tratta video e immagini come insiemi di patch, piccole unità di dati comparabili ai token utilizzati nei modelli GPT. Questo approccio unificato alla rappresentazione dei dati permette di addestrare i trasformatori di diffusione su una vasta gamma di contenuti visivi, abbracciando diverse durate, risoluzioni e formati.

Sora si basa sugli insegnamenti tratti dai precedenti modelli DALL·E e GPT, integrando, per esempio, la tecnica di ricapitolazione di DALL·E 3.

Questo metodo consente di generare descrizioni altamente dettagliate per i dati visivi utilizzati durante l’addestramento, migliorando la capacità del modello di seguire le indicazioni testuali nell’elaborazione video.

Sora può fare anche molto altro

Oltre alla generazione di video a partire da semplici istruzioni testuali, Sora può prendere un’immagine statica e animarla, trasformandola in un video che ne estende i contenuti con fedeltà e attenzione al dettaglio.

Il modello è inoltre capace di estendere video già esistenti o di completare sequenze di fotogrammi mancanti.

Qualche informazione aggiuntiva su Sora

Ovviamente Sora è un modello ancora in fase di sviluppo e il suo rilascio al grande pubblico è soggetto a miglioramenti necessari per il suo perfezionamento.

Non bisogna dimenticare, poi, l’importanza di garantire che il modello sia utilizzato a fini leciti e non per generare disinformazione digitale tramite la divulgazione di video che potrebbero modificare ed influenzare la realtà (e con essa l’equilibrio delle persone online).

Se vuoi scoprire tutte le potenzialità di Sora, ti consiglio di dare uno sguardo ad altri video generati da Sora in questa pagina ufficiale di OpenAI, dove troverai anche altre info su questo nuovo e incredibile progetto.