Tecnologías Específicas

Computación

Descripcion y Objetivos

El objetivo del TFG es diseñar y desarrollar una aplicación que permita, utilizando como entrada los datos proporcionados por una cámara RGB-D, integrar de forma efectiva la información obtenida extraída a partir de los datos 2D y 3D. Dicha integración consistirá en la generación de un mapa métrico semántico, en el cual las zonas más relevantes de escena (como aquellas que contengan objetos) puedan ser representadas mediante etiquetas semánticas.

Durante el desarrollo del TFG se tendrán que integrar métodos de registrado 3D (utilizar un mismo espacio de referencias para diferentes capturas) junto a soluciones de detección y reconocimiento de objetos. Para la detección de objetos, se analizarán y utilizarán soluciones basadas en el uso de deep learning tales como Yolo, así como librerías base como OpenCV. El tiempo y necesidades de procesamiento deben ser lo más reducidas posibles, de forma que se puedan generar mapas de entornos sin tener que utilizar equipos avanzados o requerir grandes cantidades de tiempo. 

Finalmente, los mapas generados (datos y metadatos) serán almacenados usando una representación/codificación lo más estándar posible, de forma que se maximice su posterior uso.

 

Metodología y Competencias

La realización del TFG será a través de una metodología ágil que permita evolucionar un producto básico, como será la captura de datos RGB-D y su procesamiento/almacenamiento usando una librería adecuada como Open3D, incluyendo en cada iteración nuevas funcionalidades relacionadas con los objetivos del TFG.

Además de las reuniones iniciales, donde se detallen de manera más profunda los objetivos del TFG, se marcará un calendario para trabajar por sprints. Al final de cada sprint, se realizará una revisión de las tareas en él incluidas, y se seleccionarán las tareas del backlog que se consideren adecuadas para conformar el siguiente sprint. Durante todo el proceso, se podrán tener reuniones retrospectivas enfocadas a mejorar la metodología utilizada.

Algunas de las competencias a adquirir durante la realización del TFG son:

• [CM1] Capacidad para tener un conocimiento profundo de los principios fundamentales y modelos de la computación y saberlos aplicar para interpretar, seleccionar, valorar, modelar, y crear nuevos conceptos, teorías, usos y desarrollos tecnológicos relacionados con la informática.

• [CM4] Capacidad para conocer los fundamentos, paradigmas y técnicas propias de los sistemas inteligentes y analizar, diseñar y construir sistemas, servicios y aplicaciones informáticas que utilicen dichas técnicas en cualquier ámbito de aplicación.

• [CM5] Capacidad para adquirir, obtener, formalizar y representar el conocimiento humano en una forma computable para la resolución de problemas mediante un sistema informático en cualquier ámbito de aplicación, particularmente los relacionados con aspectos de computación, percepción y actuación en ambientes o entornos inteligentes.

• [CM7] Capacidad para conocer y desarrollar técnicas de aprendizaje computacional y diseñar e implementar aplicaciones y sistemas que las utilicen, incluyendo las dedicadas a extracción automática de información y conocimiento a partir de grandes volúmenes de datos.

 

Medios a utilizar

• Ordenador personal.
• Cámara Intel RealSense
• Tablero Kanban online y gestión Scrum (Zenhub).
• Repositorio de código online (GitHub)
• Open3D
• YOLO
• OpenCV
   

 

Bibliografía

• Zhou, Qian-Yi, Jaesik Park, and Vladlen Koltun. "Open3D: A modern library for 3D data processing." arXiv preprint arXiv:1801.09847 (2018).
• Bochkovskiy, Alexey, Chien-Yao Wang, and Hong-Yuan Mark Liao. "Yolov4: Optimal speed and accuracy of object detection." arXiv preprint arXiv:2004.10934 (2020).
• Pulli, Kari, et al. "Real-time computer vision with OpenCV." Communications of the ACM 55.6 (2012): 61-69.
• Halber, Maciej, and Thomas Funkhouser. "Fine-to-coarse global registration of rgb-d scans." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017.