Web Analytics
Conecta con nosotros

Noticias

GANverse3D de NVIDIA: Crea imágenes 3D a partir de una imagen 2D gracias al poder de la inteligencia artificial

Publicado el
GANverse3D de NVIDIA: Crea imágenes 3D a partir de una imagen 2D gracias al poder de la inteligencia artificial 28

Ayer tuve la oportunidad de descubrir, en exclusiva, GANverse3D de NVIDIA, una solución con la que el gigante verde ha demostrado, una vez más, el potencial que ofrece la inteligencia artificial cuando se entrena, y se utiliza, correctamente. Antes de entrar en materia, os recuerdo que en la GTC de 2021 la compañía ya volvió a reafirmar su apuesta por la IA, y aprovechó para mostrar algunas novedades importantes que podéis encontrar resumidas en este artículo.

GANverse3D de NVIDIA permite convertir imágenes 2D en objetos 3D animados en tiempo real, y de una manera sencilla y rápida, incluso aunque no tengamos conocimientos previos en materia de modelado y renderizado de dicho tipo de objetos, ya que el proceso se realiza de forma totalmente automatizada, y en cuestión de segundos.

Esta plataforma ha sido desarrollada por el equipo de NVIDIA AI Research Lab de Toronto, Canadá, y en el vídeo que acompañamos justo debajo de estas líneas podéis verlo en acción. Impresionante, ¿verdad? Pues sigue leyendo, que te vamos a contar cómo funciona exactamente.

Por el principio, ¿qué es GANverse3D de NVIDIA y cómo trabaja?

Estamos ante un motor basado en inteligencia artificial que se apoya sobre un sistema de aprendizaje profundo. Dicho motor ha sido entrenado previamente para poder crear modelos 3D totalmente animados partiendo, únicamente, de una imagen 2D. Esto quiere decir que basta con subir una imagen 2D, etiquetarla y listo, GANverse3D de NVIDIA se ocupará de convertirla en un modelo tridimensional totalmente animado.

Obvia decir que esta herramienta puede ser extremadamente útil para arquitectos, creadores de contenido, desarrolladores de videojuegos y otros profesionales que utilizan modelos 3D en su día a día, ya que puede ahorrarles mucho tiempo y esfuerzo, y el resultado final ofrece una calidad lo bastante buena como para que esos modelos 3D puedan ser utilizados a nivel profesional.

GANverse3D de NVIDIA: Crea imágenes 3D a partir de una imagen 2D gracias al poder de la inteligencia artificial 30

Imágenes utilizadas para el proceso de entrenamiento

¿Y cómo se ha entrenado GANverse3D de NVIDIA? Es una buena pregunta, y no te vamos a dejar con la duda. Para dar forma a todo el proceso de entrenamiento necesario, los investigadores de NVIDIA utilizaron una red generativa que sintetizaba imágenes que mostraban un mismo objeto en 2D desde diferentes puntos de vista. Por ejemplo, en el caso de un coche, tendríamos que utilizar imágenes del frontal, de los laterales, de la parte trasera y de la zona superior.

GANverse3D de NVIDIA: Crea imágenes 3D a partir de una imagen 2D gracias al poder de la inteligencia artificial 32

Resultados de predicción con una única imagen 2D.

Esas imágenes tomadas desde diferentes puntos de vista se combinan en un framework de renderizado que se ocupa, mediante un proceso de inferencia, de crear un modelo 3D partiendo de la información que obtiene a través de esas imágenes 2D que mostraban el objeto desde diferentes perspectivas. Una vez finalizado ese proceso de entrenamiento, el motor GANverse3D de NVIDIA ha aprendido ha crear modelos 3D a partir de una única imagen 2D, es decir, ya no necesita varias imágenes 2D con diferentes perspectivas del mismo objeto.

Kitt cobra vida a través de GANverse3D de NVIDIA

NVIDIA ha confirmado que con este motor es posible crear modelos 3D de diferentes objetos partiendo de imágenes 2D, y que funciona sin problemas con NVIDIA Omniverse y con las tarjetas gráficas GeForce RTX serie 20 y RTX serie 30.

Para demostrar su potencial, los de verde convirtieron una imagen 2D de Kitt, más conocido en España como «El Coche Fantástico», en un modelo tridimensional tan elaborado que incluso mostraba unas ruedas y unos faros muy detallados. Una vez obtenido ese modelo, utilizaron los kits de NVIDIA Omniverse y de NVIDIA PhysX para mejorar la calidad de las texturas, y para conseguir unas físicas de conducción altamente realistas.

Kitt bajo GANverse3D de NVIDIA

Kitt creado en 3D gracias a GANverse3D de NVIDIA, y a la derecha tras el proceso final de depuración y mejora.

El resultado es tan bueno que resulta verdaderamente sorprendente, como podemos ver en la imagen adjunta, y eso que hemos podido omitir todo el proceso de modelado 3D (y prescindir de los conocimientos necesarios para ello).

Por otro lado, el nivel de entrenamiento que ha logrado NVIDIA también sorprende, ya que, como hemos dicho, no necesitamos varias imágenes 2D para que la inteligencia artificial pueda «unirlas» y crear un modelo 3D, sino que es capaz de realizar un proceso de inferencia partiendo de una única imagen en 2D, y deducir, a partir de ella, todo lo necesario para crear un modelo en 3D.

GANverse3D de NVIDIA es, sin duda, uno de los mejores ejemplos de todo lo que puede dar de sí la inteligencia artificial, de cómo puede hacernos la vida más fácil, y una muestra clara de por qué todos los grandes del sector están haciendo importantes esfuerzos para ser líderes en inteligencia artificial.

Editor de la publicación on-line líder en audiencia dentro de la información tecnológica para profesionales. Al día de todas las tecnologías que pueden marcar tendencia en la industria.

3 comentarios
  • kinetix

    esto se venia haciendo por varios investigadores de universidades. nvidia solo lo ha potenciado

  • Leonmafioso

    Y ni siquiera, lo ha implementado para que funcione con Cuda nada más.

  • kinetix

    a eso me refiero, ademas de disponer de mas capaciada de computo, pueden meter muchos mas datos de entrenamiento

Lo más leído