NVIDIA Maxine mejora y mucho nuestras comunicaciones mediante IA

NVIDIA Maxine mejora y mucho nuestras comunicaciones mediante IA
Escrito por Pablo el 16 May 2022 en Inteligencia Artificial

Vamos a empezar por describirlo, porque si no lo hago, esto parece magia y aunque lo parezca, no lo es.

¿Qué es este software? ¿Qué es Maxine?

NVIDIA Maxine es un conjunto de SDKs (Kit de Desarrollo de Software) acelerados por la GPU, que nos permite sacarle el máximo partido a las comunicaciones online mediante Inteligencia Artificial, mejorando extraordinariamente la calidad del video y del audio.

Incorpora ciertas funciones a nuestras comunicaciones de audio, video y aumento de realidad usando IA en tiempo real, pudiéndose integrar y personalizar fácilmente.

Este conjunto de SDKs puede utilizarse conjuntamente con otros como Riva y con Video Codec creando así una conversación con una calidad extraordinaria de transcripción y traducción instantánea, junto con las codificaciones y transcodificaciones aceleradas, os dejo un video explicativo de un minuto, en el que entenderéis a lo que me refiero.

¿Qué SDKs forman Maxine?

Este conjunto SDKs, Maxine, puede sub-catalogarse en 3 SDKs, Audio, Video y Realidad Aumentada:

SDK Efectos de audio

Este kit de desarrollo de efectos de audio, proporciona algoritmos de mejora de la calidad del audio basados en IA, mejorando las conversaciones independientemente del ancho de banda.

Entre las funciones del audio mejoradas, destacan:

  1. Aumento de resolución de audio en tiempo real al aumentar el muestreo del flujo de entrada de sonido de 8 kHz a 16 kHz y de 16 kHz a 48 kHZ de frecuencia de muestreo
  2. Supresión del eco acústico en tiempo real, lo que elimina los pares acústicos que no coincidan y cuando hablen de manera simultánea. Al emplearla IA, la cancelación es mucho más efectiva que mediante la anterior manera digital.
  3. Eliminación de ruidos de fondo comunes y conservando la claridad de la voz del hablante

 

SDK Efectos de vídeo

Con el SDK de vídeo de Maxine podrás utilizar efectos visuales basados en IA y solo necesitarás una webcam, por lo que te resultará fácil integrarlo en videoconferencias o si eres un creador de contenido.

Entre las funciones de vídeo mejoradas destacan:

  1. Aumento de la resolución mejorada utilizando redes neuronales de IA, reduciendo artefactos y manteniendo las texturas con una escala de hasta 4X
  2. Escalado de alto rendimiento de hasta 4X de alta calidad con parámetros de modificables de nitidez
  3. Reducción de artefactos de compresión de video mientras se conservan los detalles originales
  4. Eliminación de ruido en situaciones de poca luminosidad mientras se conservan los detalles
  5. Aplicación de fondos virtuales o desenfoques con tecnología IA

 

SDK de Realidad Aumentada

Con este kit de Realidad Aumentada nos ofrece la capacidad de seguir rostros en 3D y en tiempo real, basándose en la inteligencia artificial y la postura de nuestro cuerpo en una webcam estándar.

Entre las funciones de realidad aumentada mejoradas destacan:

  1. Seguimiento de rostros humanos en imágenes y videos detectando la ubicación y tamaño del cuadro que limita.
  2. Seguimiento de puntos de referencia faciales usando 126 puntos clave, siguiendo la postura de la cabeza y deformación de la cara por el movimiento y expresiones faciales en tres grados de libertad en tiempo real
  3. Representa un rostro humano con una malla de hasta 3.000 vértices y seis grados de libertad.
  4. Predice y rastrea hasta 34 puntos clave en 3D, muy utilizado para reconocimiento de actividades e interacciones virtuales.
  5. Simulación del contacto visual estimando y alineando la mirada con la cámara
  6. Animar una cara digital 2D o 3D con alta fidelidad solo con una entrada de audio.