El grupo de investigación DINper, de la Universidad de Burgos, incluido por META en el Proyecto ARIA para redefinir el futuro de la conectividad

Las 3.670 horas de vídeos e imágenes, recopiladas por el proyecto Egocentric 4D Live Perception, constituyen el conjunto de datos egocéntricos más diverso del mundo.

Estas imágenes capturan a los humanos realizando tareas simultáneamente desde su punto de vista y externamente, lo que ayudará a dar a los modelos de IA una comprensión de cómo los humanos llevan a cabo las actividades.

Desde su lanzamiento, el consorcio Ego4D ha ampliado drásticamente el alcance y la ambición de su investigación con el recién publicado Ego-Exo4D, un conjunto de datos fundamental para apoyar la investigación sobre el aprendizaje por vídeo y la percepción multimodal.

A partir de este curso, el grupo de investigación DINper, Diseño Inclusivo Personalizado, de la Universidad de Burgos, dirigido por el profesor Pedro Luis Sánchez Ortega, desde la Escuela Politécnica Superior, entra a formar parte de las universidades que, en asociación con Meta, está impulsando la investigación en visión por computadora, a través de la recopilación de conjuntos de datos egocéntricos y exocéntricos, como conjuntos de las actividades humanas.

DINper con su participación en el Proyecto ARIA apuesta por un esfuerzo ambicioso para avanzar en la realidad aumentada y la inteligencia artificial desde una perspectiva humana, que tiene el potencial de transformar la forma en que interactuamos con el mundo digital.

Aunque los primeros conjuntos de datos se obtuvieron a partir de dispositivos diversos, como son la GoPro, Vuzix Blade, Pupil Labs, ZShades, ORDRO EP6, iVue Rincon 1080 y Weeview, desde este momento la Universidad de Burgos, como socio de investigación aprobado, aportará información con la incorporación de las Gafas del KIT del Proyecto ARIA y su kit de desarrollo de software para universidades, gracias a la colaboración con Meta.

Desde DINper se podrán realizar además estudios independientes y ayudar a dar forma al futuro de la realidad aumentada.

Este tipo de dispositivos de investigación incluyen tecnología no tan convencional, ya que integran 5 Cameras. Dispositivos inerciales, Magnetómetros, Micrófonos, Barómetro y GPS, además de señalizadores WIFI y Bluetooth.

Resultado de un esfuerzo de años por parte del equipo FAIR (Investigación Fundamental de Inteligencia Artificial) de Meta, Project Aria y el consorcio Ego4D de los socios universitarios, EgoExo4D es un conjunto de datos multi-vista y multimodal a gran escala, el primero de su tipo, y un conjunto de referencias.

Su característica definitoria es la captura simultánea tanto de vistas «egocéntricas» en primera persona, desde el dispositivo portátil de un participante, sus gafas, como de múltiples vistas «exocéntricas», desde las cámaras que rodean al participante. Juntas, estas dos perspectivas darán a los modelos de IA una nueva ventana a la compleja actividad humana cualificada.

Además de Ego4D, como iniciativa para crear y compartir los datos necesarios para avanzar en el estado de la visión por computadora a partir de video egocéntrico, el Proyecto Aria de Meta incluye varios subproyectos y colaboraciones otras universidades y el sector privado: el Proyecto NavCog ,con Carnegie Mellon University, busca construir mapas 3D de museos y aeropuertos para ayudar a las personas con discapacidades visuales a navegar mejor en interiores; en colaboración con el fabricante de automóviles BMW, Meta busca explorar cómo la tecnología de realidad aumentada y realidad virtual o mixta, podría integrarse en los vehículos del mañana.