Producir video interactivo en tiempo real con INVE. El equipo de investigación de Adobe Research y la Universidad de Columbia Británica ha desarrollado una herramienta de edición de video llamada INVE, que permite hacer cambios en tiempo real en secuencias de video. Esta innovadora herramienta utiliza algoritmos avanzados y redes eficientes para aplicar ediciones en cada fotograma del video.
En términos sencillos, los usuarios pueden agregar imágenes o dibujos al video y el algoritmo se encarga de integrar esos cambios en la grabación. Utiliza técnicas especiales, como codificación hash-grids y funciones bidireccionales entre atlas de imágenes y fotogramas, para permitir una amplia variedad de ediciones tanto en los atlas como en los fotogramas.
Sketch Edits, que permite dibujar garabatos utilizando un pincel
INVE ofrece diferentes tipos de ediciones, como Sketch Edits, que permite dibujar garabatos utilizando un pincel. También tiene Ajustes locales, que permiten aplicar ajustes específicos a una región de la escena, como el brillo, la saturación y el matiz. Y por último, Ediciones de textura, que permiten importar gráficos externos que se mueven y deforman junto con los objetos en movimiento.
Esta herramienta se basa en la investigación previa de Layered Neural Atlas (LNA), que descompone los videos en conjuntos de atlas 2D en capas. Sin embargo, INVE representa una mejora significativa en términos de tiempo de aprendizaje e inferencia, así como en la capacidad de edición de video.
Dejamos el video con las posibilidades de INVE
Aunque los ejemplos mostrados podrían haber sido más sorprendentes, la tecnología detrás de INVE es realmente inspiradora y nos invita a imaginar las infinitas posibilidades que tendremos en los próximos años.
Para obtener más información sobre este tema, se puede consultar aquí. También puedes dejar tus comentarios en el foro…