ZunaVision: Inserire Immagini e Filmati "DENTRO" un Video con Una Tecnologia Sviluppata Dalla Stanford University

ZUNAVISION: Innovativa Tecnologia Della Stanford University Per Inserire Immagini e Filmati “DENTRO” un Video

Il titolo può sembrare un po’ farraginoso ma è un tentativo di descrivere questa tecnologia denominata ZunaVision elaborata dalla Stanford University e dalla quale sono rimasto molto colpito , la qual cosa mi ha spinto ad approfondire l’argomento.

Alcuni ricercatori della suddetta università, infatti, hanno sviluppato una tecnologia ed un software che rende molto semplice “inserirsi” all’interno di un video già esistente per posizionare, su una superficie piana dello stesso (ad es. un muro), un’immagine o un altro video in modo realistico, tanto da far sembrare che siano lì fin dall’inizio e non siano stati aggiunti successivamente.

Ora, chi è abituato a fare video editing, potrebbe, dire: ” beh, facile, l’ho già fatto altre volte, basta aggiungere un’altra traccia video alla timeline e sovrapporre un’immagine o un video…”.

E invece non è affatto così.

In questo caso l’immagine o il filmato non sono “incollati sopra” il video, ma “embeddati” ed integrati all’interno dell’ambiente in modo dinamico, nel senso che anche se si muove l’inquadratura questa tecnologia applica automaticamente i cambiamenti da apportare in modo che il tutto risulti comunque realistico, adattando l’oggetto inserito alla nuova prospettiva con cui lo si guarda.

Anche facendo passare una persona od un oggetto davanti all’immagine (o video) inserito sembra che questo faccia naturalmente parte dell’ ambiente, ed anche eventuali ombre sono proiettate realisticamente.

Ma ecco una video presentazione di questa novità , con all’interno degli esempi che chiariscono meglio ciò che ho tentato di spiegare a parole :

Lo scopo di questa tecnologia è quello di far realizzare in modo semplice ed economico alcuni trucchi ed effetti che normalmente si ottengono con sistemi di editing professionali e molto costosi, usati ad esempio da case di produzione (queste possibilità non sono invece presenti nei normali software di editing che siamo abituati ad usare).

Ma si può provare al momento? Certamente, basta recarsi sul sito di ZUNAVISION e registrarsi gratuitamente per cominciare a fare qualche test con dei video già presenti sul sito stesso.

Per effettuare invece prove con materiale proprio (upload di video) bisogna contattare direttamente i ricercatori responsabili di questo progetto (ma in futuro queste possibilità dovrebbero essere estese a tutti gli account).

Ecco un altro esempio che ho realizzato personalmente, dove ho chiesto ad un mio amico di passare davanti ad un quadro mentre io cambiavo e muovevo grossolanamente e volutamente l’inquadratura: al posto del quadro è stato inserito un altro video (quello con la bottiglia e lo sfondo verde), che è stato “embeddato” ed integrato perfettamente e si è adattato dinamicamente ai cambi di prospettiva dell’inquadratura .

Il risultato è un elemento “inserito” che effettivamente sembra in tutto e per tutto parte della scena e non un “adesivo” posto artificialmente sopra il video (evitate ogni commento sull’espressione del protagonista…):

Tra l’altro ho potuto fare subito questa prova personalizzata anche grazie al fatto che ho chiesto un upgrade dell’account come beta tester e mi è stato subito concesso con grande rapidità.

Inoltre ho contattato personalmente uno dei ricercatori responsabili di questo progetto, Ashutosh Saxena, che si è dimostrato veramente gentile e disponibile nel fornirmi ulteriori delucidazioni e chiarimenti in merito al loro lavoro.

Siccome al momento il sito ZUNAVISION consente solo di scegliere il filmato “da embeddare” e il filmato ” da modificare” (scelto tra un gruppo di video con superfici già predefinite per l’embedding) , gli ho chiesto se a breve, pur in fase di testing, sarà dato un maggiore spazio d’azione all’utente: ed infatti mi ha risposto positivamente comunicandomi che prossimamente verrà integrata una semplice interfaccia utente online per consentire la selezione dell’area in cui fare l’embedding.

[AGGIORNAMENTO: Zunavision è uscito dalla fase di beta testing ed ha elaborato un modello di business che interessa sia advertisers che creatori di contenuto video i quali possono ora monetizzare vendendo "spazi" all'interno dei propri lavori: ora chi è interessato a provare questa tecnologia può fare richiesta per e-mail, trovando tutti i riferimenti sul sito].

Ma come funziona?

La tecnologia che consente l’”embedding” è guidata da un algoritmo (“3D Surface Tracker Technology”) che analizza inizialmente il video, con particolare attenzione alla sezione della scena dove un immagine (o video) saranno inseriti.

Il colore, la tonalità e l’illuminazione della nuova immagine sono leggermente alterate per fondersi in maniera armoniosa con l’ambiente.

Le ombre che si vedono nel video originale si vedranno anche in quello modificato, eventualmente proiettate sull’oggetto inserito.

Ma questo algoritmo deve in un certo senso affrontare altre difficoltà per produrre risultati realistici.

Innanzitutto deve aver a che fare con quelli che i ricercatori definiscono “occluding objects” nel video, ovvero quelli che rappresentano degli ostacoli alla veridicità del risultato finale.

Ad esempio, nel video che ho inserito prima nel post, un “oggetto occludente” è il protagonista stesso del filmato, perché passa davanti alla superficie dove sarà inserito il video da embeddare.

L’algoritmo riesce a gestire questi “oggetti” tenendo traccia di quali pixel appartengono al video embeddato e quali appartengono alla persona che gli cammina davanti: il video in tal modo scompare “dietro” la persona che sta passando e poi riappare.

Anche i movimenti della videocamera danno dell’ulteriore lavoro da svolgere all’algoritmo.

Quando l’inquadratura si muove o sono effettuati degli zoom, la porzione di muro che contiene l’oggetto embeddato si muove e cambia forma. E il video (o immagine) embeddato deve mantenere queste modifiche geometriche della forma.

L’aspetto innovativo insito in questo progetto sta soprattutto nel fatto che è fornito un nuovo approccio semplice e veloce per effettuare questo tipo di operazioni di aggiunta ai video.

L’input necessario è un semplice filmato registrato con qualsiasi dispositivo digitale, non è richiesto un “tracking hardware” e tantomeno sono poste restrizioni sul “range” dei possibili movimenti della videocamera.

La forza di questa tecnologia sta nella sua flessibilità.

Sicuramente, come accennato all’inizio del post, esistono già tecnologie che permettono di realizzare questi “trucchi” (basta pensare agli effetti speciali dei film) ma, come si può intuire, sono molto costose, non sono per nulla immediate e richiedono una certa competenza per essere utilizzate.

Possibili utilizzi?

Solo qualche esempio: creazione di effetti particolari in fase di editing di un filmato; modifiche di film, trasmissioni televisive ed home video già pre-esistenti tramite aggiunta di materiale statico e video che può poi essere diffuso tramite le piattaforme di web publishing; inserimento nei video online di pubblicità ed advertising non intrusivo all’interno di materiale video già pubblicato in precedenza, ecc…

In particolare l’utilizzo a scopi pubblicitari sembra quello per cui qualche grossa società potrebbe farsi avanti per proporre l’acquisto di questa tecnologia. Se si potesse integrare in qualche piattaforma web di video publishing sicuramente avrebbe delle potenzialità grandissime (pubblicità inserita nei video “user generated” ?).

AGGIORNAMENTO: ora esiste una pagina dedicata agli advertisers che vogliono introdurre pubblicità nei video con questo metodo, per informazioni si veda il link sotto:

Zunavision for advertisers

Ecco un altro esempio (anche se in bassa qualità), in cui è sempre stato “embeddato” il video con la bottiglia di vino, visibile in piccolo sulla parete di un palazzo :