Intel® RealSense™ SDK Gold R2 en síntesis

Introducción

¡Ya está disponible Intel® RealSense™ SDK Gold R2 (v4.0)! En esta breve sinopsis se verán las mejoras con relación a la versión Gold R1 (v3.1) y algunas de las modalidades de interacción natural con las que se pueden crear atractivas aplicaciones por medio del SDK de RealSense.

Resumen de cambios

El SDK y el Administrador de Cámara de Profundidad (DCM)
Nuevas modalidades
- Escaneo 3D
- Cálculo de ritmo cardíaco
- Módulo de seguimiento de blobs
- Nuevas utilidades
- Nuevas funcionalidades para la cámara trasera de Intel® RealSense™ (R200)
Mejoras en el SDK Gold R2
- Módulo de seguimiento de manos
- Módulo de seguimiento de rostro
- Compatibilidad con Unity*
- Compatibilidad con Java*, Processing*
- Compatibilidad con JavaScript*
- Controlador no táctil
Funciones que ya no se utilizan
Otros recursos

El SDK y el DCM

Hay dos grandes cambios en la versión Gold R2 que son imposibles de pasar por alto.

En primer lugar, el SDK incluye nuevas funcionalidades y otras mejoradas para la cámara frontal Intel® Realsense™ (F200). Veremos más detalles sobre esta novedad en las secciones siguientes. Además esta versión del SDK incluye varias API para la cámara trasera (R200). En la documentación de las API se explica qué funcionalidades son específicas para cada modelo de cámara. La mayoría de las tratadas en este artículo son más que nada para la F200. Se indica de manera explícita cuáles son específicas de la R200.

El paquete del DCM ha cambiado. En esencia, el controlador se llama Administrador de Cámara de Profundidad (Depth Camera Manager). En R1, el DCM formaba parte del paquete de instalación del SDK. A partir del SDK R2, el DCM estará disponible para descargar solamente por separado. Atención que si se desinstala el SDK Gold R1, también se desinstala el DCM, lo que hace necesario instalar por separado el DCM 1.2 después de instalar el SDK R2 SDK. Los usuarios finales con una cámara integrada OEM notarán que el DCM ya se encuentra en el sistema. Incluimos más abajo un vínculo por si es necesario actualizarlo.

Versión de DCM necesaria para F200: 1.2.14.24922

Versión de DCM necesaria para R200: 2.0.0.47980

Vínculo de descarga https://software.intel.com/en-us/intel-realsense-sdk/download

Instrucciones de instalación para el SDK Gold R2

Desinstale por completo todas las versiones anteriores del SDK y elimine los directorios de destino si es necesario. Reinicie el sistema para que la desinstalación sea total.
Ejecute el instalador del DCM: intel_rs_dcm_f200_1.2.14.24922 para la cámara F200.
Ejecute el instalador fuera de línea del SDK: intel_rs_sdk_offline_package_r_4.0.0.112526.exe. Reinicie el equipo.

Nuevas modalidades y utilidades del SDK Gold R2

Escaneo 3D

La tan esperada funcionalidad de escaneo 3D se incluye en modo de presentación preliminar en el SDK Gold R2. Este módulo genera datos de malla 3D a partir de imágenes de cámara. Hace posible capturar objetos fijos y, de manera opcional, detectar o recortar objetos sobre superficies contenidas en un plano, o rellenar espacios vacíos y solidificar. El módulo funciona en los modos dirigido y de escaneo, y admite los formatos de salida estándares OBJ, PLY y STL.

Limitaciones actuales

El volumen de escaneo se limita al campo de visión de la máquina. Se recomienda colocar el objeto frente a la cámara a una distancia de entre 40 y 80 centímetros.
El algoritmo funciona con objetos rígidos. Si algunas partes del objeto se mueven en relación con las demás, el escaneo podría no ser eficaz.
El funcionamiento del algoritmo de seguimiento es óptimo cuando el objeto se mueve con lentitud.

Cálculo de ritmo cardíaco

Además de identificar hasta cuatro rostros, ahora es posible detectar cambios sutiles en el color del cutis en función del tiempo y calcular el ritmo cardíaco de la persona. Estas funciones se incluyen como parte de la modalidad de detección de rostros. Hay más información en la interfaz de PulseConfiguration y las funciones QueryPulse y PulseData.

Seguimiento de blobs

Cuando no esencial contar con información de articulaciones, una buena opción para mejorar el rendimiento es el seguimiento de blobs. Permite seguir cualquier cosa que haya frente a la cámara, admite hasta cuatro blobs sin clasificación de manos y admite varios órdenes de acceso. Se ofrece en modo de presentación preliminar.

Nuevas utilidades

El SDK Gold R2 incluye utilidades que ayudan a mejorar el rendimiento de las aplicaciones y su comportamiento ante valores atípicos.

Utilidad Rotation: posibilita hacer conversiones entre diferentes representaciones de rotación de puntos en el espacio tridimensional. Admite varias representaciones de rotación comunes, como Quaternion, matriz de rotación, ángulos de Euler y Angle + Axis. Se incluye más información en la clase PXC[M]Rotation.
PointConverter: convierte un punto en 2D o un espacio de cámara 3D a un rango de valores diferente con las mismas dimensiones. Por ejemplo, convertir un punto 2D de un sensor con alto/ancho a un punto de la pantalla con resolución (1280 x 960).
PCXSmoother: reemplaza a la utilidad PXCDataSmoother de R1. Incluye algoritmos de suavizado en línea y es más fácil de usar que PXCDataSmoother.

Nuevas funcionalidades para la cámara R200

Las API necesarias para programar para la cámara R200 se incluyen por primera vez en el SDK Gold R2. Algunas de las más importantes se destacan en la tabla que sigue. Hay que tener presente que la madurez de las funcionalidades varía. Se recomienda a los desarrolladores leer la documentación del SDK, donde encontrarán una lista de las API que admiten cada una de las modalidades siguientes.

Madurez	R200
Gold	Reconocimiento del habla y síntesis
Alpha	Interfaces esenciales del SDK y transmisión por secuencias de datos de color/profundidad/IR Percepción de escenas Seguimiento de rostro
Vista Previa	Captura 3D Fotografía mejorada

Mejoras en el SDK Gold R2

Módulo de seguimiento de manos

El módulo de seguimiento de manos tiene mayor rendimiento en Gold R2 y además se incluyen nuevas funcionalidades.

Se agregaron más gestos al conjunto estándar:
- El gesto de deslizar rápidamente ahora ofrece la posibilidad de deslizar hacia arriba y hacia abajo: swipe_up y swipe_down.
- También hay un nuevo gesto: “clic”.
Alertas y valores de confianza: gracias a las alertas y los valores de confianza baja, ahora es posible controlar mejor situaciones tales como que las manos queden fuera del campo de visión, la velocidad de movimiento, la distancia respecto de la cámara y que las manos apunten a la cámara. Encontrará más información en la documentación correspondiente de QueryTrackingStatus y PXCHandData::TrackingStatusType.
Archivos de calibración para manos pequeñas: en Gold R1, era difícil seguir las manos de niños menores de 8 años. El SDK Gold R2 no solo puede trabajar con manos más pequeñas, sino que permite especificar la edad del usuario y cargar archivos de calibración específicos para niños. Hay más información en la documentación de SetDefaultAge y QueryDefaultAge.
Radio de la palma: ahora se puede precisar mejor el tamaño de las manos, porque se incluyó detección de radio de la palma. Hay más información en la documentación de QueryPalmRadiusImage y QueryPalmRadiusWorld.

Mejoras de rendimiento

Mejoras en la detección de gestos: los usuarios de Gold R2 apreciarán que ha mejorado la detección de los gestos “pulgares hacia arriba” y “pulgares hacia abajo”, para los cuales ya no es necesario calibrar y reconocer las manos. También hubo una gran reducción de falsos positivos de todos los gestos.
El perfeccionamiento de los intercambios de mano izquierda y derecha ha mejorado la detección y el seguimiento.
Mejora de rendimiento para dos manos y modo de contorno: en Gold R1, el seguimiento de dos manos y gestos reducía de manera considerable el rendimiento de la aplicación. Ahora proporciona una mayor frecuencia de reproducción de fotogramas.

Módulo de seguimiento de rostro

Mejoras

Puntos de referencia más resistentes a valores atípicos: admite un mayor ángulo y otros tonos de piel. La mayor sensibilidad a los puntos de referencia de alrededor de la boca perfecciona el reconocimiento de expresiones tales como abrir la boca y sonreír.
Con la mejora para expresiones faciales, ahora se reconocen besos a partir de datos 3D.
Detección de rostros estable y resistente a desviaciones de los datos, para rotación alrededor de los tres ejes, y mejor seguimiento de la parte central de la cabeza.

Compatibilidad con Unity*

Novedades

El SDK de Intel RealSense ahora funciona con la versión gratis de Unity 4.6. Para ello, hay que descargar el parche 4.6.3p1 desde http://unity3d.com/unity/qa/patch-releases.

Mejoras

Con Gold R2, se proporcionan más scripts e instancias prefabricadas para seguimiento de rostro, de manos y de objetos, y también para reconocimiento del habla, lo cual facilita el desarrollo de juegos.
También hay nuevos ejemplos que muestran cómo usar estos scripts e instancias prefabricadas en el desarrollo de aplicaciones.

Funcionalidades para programación web

Los programadores web pueden crear código con JavaScript o el reproductor web de Unity. La compatibilidad con navegador todavía está en etapa Beta y es solo para seguimiento de manos, blobs y rostro, y reconocimiento del habla. En R2, ahora se puede trabajar con los sitios web HTTPS.

El reproductor web de Unity pasa por un servidor web y hace posible usar cualquier función de C#, excepto las marcadas como no admitidas (por ejemplo, File I/O).

Compatibilidad con Java/Processing

La arquitectura del SDK de Intel RealSense posibilita que se pueda acceder uniformemente a todas las funcionalidades del SDK desde Java/Processing, al igual que con cualquier otra interfaz C++ o C#. Sin embargo, la compatibilidad con Java/Processing en Intel RealSense SDK R2 todavía es preliminar y limitada. Hay que estar atentos a versiones futuras, que no tendrán estas limitaciones.

Controlador no táctil

El controlador no táctil, que ofrece la capacidad de controlar funciones de la interfaz de usuario de Windows por medio de gestos de las manos, ahora proporciona más gestos, mejora el reconocimiento y el rendimiento, e incluye métodos para controlar la sensibilidad puntal y de desplazamiento. También ofrece asignar el comportamiento del usuario a eventos de interfaz, desplazamiento, acercamiento, navegación al menú de inicio, creación de copia de seguridad y desplazamiento en borde. Se incluye más información en la función PXC[M]TouchlessController.

Funciones que ya no se utilizan en Gold R2

Algunas de las utilidades que incluía Gold R1 ya no se utilizan en R2. Estas son:

PXC[M]BlobExtractor: reemplazada por PXC[M]BlobModule
PXC[M]ContourExtractor: reemplazada por PXC[M]BlobModule
PXC[M]DataSmoothing: reemplazada por PXC[M]Smoother

Para asegurarse de que las aplicaciones funcionen sin problemas en los equipos de los usuarios finales, hay que empaquetar la aplicación con el runtime específico de la versión del SDK que se utilizó para desarrollarla.

Resumen

Intel® RealSense™ Gold R2 SDK llega con importantes mejoras de funcionalidad y rendimiento en comparación con el SDK Gold R1. Se recomienda a los desarrolladores adoptar la versión Gold R2 con el fin de aprovechar las mejoras y novedades para crear aplicaciones interactivas naturales y que respondan mejor ante datos atípicos.