Dissertation/ Thesis
Advancing 3D Point Cloud Understanding in Real-World Applications
| العنوان: | Advancing 3D Point Cloud Understanding in Real-World Applications |
|---|---|
| المؤلفون: | Zoumpekas, Athanasios |
| المساهمون: | University/Department: Universitat de Barcelona. Departament de Matemàtiques i Informàtica |
| Thesis Advisors: | Puig Puig, Anna, Salamó Llorente, Maria |
| المصدر: | TDX (Tesis Doctorals en Xarxa) |
| بيانات النشر: | Universitat de Barcelona, 2024. |
| سنة النشر: | 2024 |
| وصف مادي: | 246 p. |
| مصطلحات موضوعية: | Visualització tridimensional, Sistemas de imágenes tridimensionales, Three-dimensional display systems, Aprenentatge automàtic, Aprendizaje automático, Machine learning, Visió per ordinador, Visión por ordenador, Computer vision, Intel·ligència artificial, Inteligencia artificial, Artificial intelligence, Ciències Experimentals i Matemàtiques |
| الوصف: | Programa de Doctorat en Matemàtiques i Informàtica |
| Description (Translated): | [eng] In recent years, rapid advancements in 3D sensing technologies, such as LiDAR, have revolutionized various fields, spanning robotics, augmented reality, earth vision, and industrial manufacturing. Point clouds, acquired through 3D sensing technologies, capture the geometric structure of objects and environments in a three-dimensional coordinate system. However, the lack of structure and order in point clouds, as well as the significantly redundant and inconsistent sample densities, makes it challenging to analyze. In addition, point clouds captured in real-world setups contain millions of points accompanied by noise either from the measurement tool itself or by moving objects in the scene, leading to further computational challenges. Moreover, point clouds are frequently obtained dynamically, generating temporal 3D point clouds, where the alignment between frames is often essential for spatial consistency and accurate analysis. Consequently, learning intelligent models on either static or temporal 3D point clouds presents important challenges and necessitates advanced computational techniques to address issues of accuracy, efficiency, and robustness depending on the application needs. This thesis presents research efforts toward advancing 3D point cloud understanding, providing theoretical and practical insights to enhance decision-making and application in fields where spatial and geometric understanding is important. The main contributions of this thesis are seven, divided into three thematic parts, Model Evaluation and Interactive Visualization in 3D Point Cloud Segmentation, 3D Understanding Applications in Geoscience and 3D Understanding Applications in Industrial Manufacturing. Concerning the first thematic part, four contributions have been made. The first contribution includes a benchmarking of point cloud segmentation models that instead of focusing solely on accuracy-related performance metrics, further incorporates time and memory efficiency evaluation. Then, our second contribution encompasses a comprehensive analysis of state-of-the-art deep learning architectures for 3D point cloud segmentation. Through rigorous evaluation approaches, novel performance metrics are proposed to facilitate effective model comparison, considering ac- curacy, time and memory efficiency, and robustness. In addition, we create a correspondence between model design properties and experimental properties, further elucidating model selection. Our third contribution includes a proposed early-stopping technique for enhancing the trade-off between efficiency and accuracy in training neural networks on point cloud segmentation. Our fourth contribution to model evaluation and selection is visual insights into the results of point cloud segmentation models during and after the learning process. A new dashboard visualization tool, named CLOSED, has been proposed facilitating the rigorous comparison of different neural networks in 3D point cloud segmentation. Concerning the second part on applications in the intersection of Geoscience, Machine Learning, and Computer Vision, two contributions have been made towards automating rockfall detection utilizing real-world captured temporal 3D point clouds. The first one focuses on enhancing rock- fall detection and addresses critical challenges such as class imbalance in the detection of rockfall candidate areas. Initially, various machine learning algorithms are studied alongside resampling techniques on real-world 3D scans in order to develop an intelligent framework for rockfall detection. This framework, further extended to incorporate geological properties, demonstrates high accuracy and robustness in detecting areas susceptible to rockfall. The second contribution leverages advancements in point-based neural networks and spatiotemporal information from the captured 3D scans to improve the accuracy and efficiency of rockfall candidate area detection. The proposed method showcases effectiveness in identifying rockfall candidate areas directly from real-world 3D scans. Finally, concerning the third part on applications in the intersection of Industrial Manufacturing, Deep Learning, and Computer Vision, one contribution has been made. Our contribution lies in adapting 3D point cloud understanding models to accurately identify various machining tools based on sampled surfaces, enabling insights for optimizing industrial machining processes and reverse engineering workpieces. Specifically, we propose a novel process and develop guidelines for the task of machining tool identification using temporal 3D point clouds, sampled from the tool engagement surface from a workpiece in progress. This thesis advances 3D point cloud understanding in real-world applications. It addresses existing gaps in the research field, poses new research questions, and explores novel research directions. We present deep learning and classical machine learning techniques on 3D point clouds and real-world applications in geoscience and industrial manufacturing. The outlined contributions establish a basis for further advancements and effective utilization of models on 3D point clouds across diverse disciplines. Our findings, developed software, and resources presented in this dissertation are available to the community to facilitate further research and knowledge transfer. [spa] En los últimos años, los rápidos avances en las tecnologías de detección de datos reales en 3D, como LiDAR, han revolucionado varios campos de aplicación como son la robótica, la realidad aumentada, la interpretación visual de procesos geológicos y la fabricación industrial, entre otros. Las nubes de puntos adquiridas mediante tecnologías de detección 3D capturan la estructura geométrica de objetos y su entorno en un sistema de coordenadas tridimensionales. Sin embargo, la falta de estructura y orden en las nubes de puntos capturadas, así como las inconsistencias y redundancias significativas en las propiedades muestreadas dificultan su análisis. Además, las nubes de puntos provenientes del mundo real están formadas por millones de puntos generalmente acompañados de ruido, ya sea proveniente de la propia herramienta de medición o de objetos en movimiento en la escena, lo que genera desafíos computacionales aún mayores. Cabe destacar también que las nubes de puntos se obtienen frecuentemente de forma dinámica, generando datos temporales 3D, donde la alineación entre fotogramas suele ser esencial para garantizar la coherencia espacial y su análisis preciso. En consecuencia, aprender modelos inteligentes para tratar nubes de puntos 3D estáticas o temporales presenta un desafío de investigación no trivial que además requiere de técnicas computacionales avanzadas para abordar problemas de precisión, eficiencia y robustez según las necesidades de la aplicación. Esta tesis presenta contribuciones científicas en la comprensión inteligente de las nubes de puntos 3D, proporcionando conocimientos teóricos y prácticos para mejorar la toma de decisiones y la aplicación en campos donde la comprensión espacial y geométrica es esencial. Las principales contribuciones de esta tesis son siete, divididas en tres partes temáticas: la Evaluación de modelos y visualización interactiva de segmentación de nubes de puntos 3D, Aplicaciones de predicción 3D en geociencias y Aplicaciones de predicción 3D en procesos de mecanizado industrial. Respecto a la primera parte temática, se han realizado cuatro contribuciones. La primera contribución consiste en la definición de una evaluación comparativa de modelos de segmentación de nubes de puntos que, en lugar de centrarse únicamente en métricas de rendimiento relacionadas con la precisión incorpora además una evaluación de la eficiencia del tiempo y la memoria. Luego, nuestra segunda contribución abarca un análisis exhaustivo de arquitecturas de aprendizaje profundo de última generación para la segmentación de nubes de puntos 3D. A través de enfoques rigurosos de evaluación, se proponen nuevas métricas de rendimiento para facilitar la comparación efectiva de modelos, considerando la precisión, la eficiencia del tiempo, la memoria y la robustez. Además, se propone una correspondencia entre las propiedades de diseño del modelo de aprendizaje profundo y las propiedades experimentales, lo que facilita la selección del modelo final. Nuestra tercera contribución incluye una técnica de parada temprana durante el entrenamiento de redes neuronales en la segmentación de nubes de punto basada en el equilibrio entre la eficiencia y la precisión obtenida. Nuestra cuarta contribución en la evaluación y selección de modelos es la representación visual de los resultados de los modelos de segmentación de nubes de puntos durante y después del proceso de aprendizaje. Se ha propuesto una nueva herramienta de visualización que integra distintas vistas, denominada CLOSED, que facilita la comparación rigurosa de diferentes redes neuronales en la segmentación de nubes de puntos 3D. Con respecto a la segunda parte sobre aplicaciones que están en la intersección entre la geociencia, el aprendizaje automático y la visión por computador, se han realizado dos contribuciones centradas en la detección automática de desprendimientos de rocas utilizando nubes de puntos 3D temporales capturadas del mundo real. La primera contribución pretende mejorar la detección de desprendimientos de rocas y aborda desafíos críticos como el desequilibrio de muestras entre clases en la detección de áreas candidatas a desprendimientos de rocas. En primer lugar, se estudian varios algoritmos de aprendizaje automático junto con técnicas de remuestreo en escenas 3D del mundo real con el fin de desarrollar un marco inteligente para la detección de desprendimientos de rocas. Este marco, ampliado aún más para incorporar propiedades geológicas, demuestra una alta precisión y solidez en la detección de áreas susceptibles a desprendimientos de rocas. La segunda contribución en esta temática aprovecha los avances en las redes neuronales basadas en nubes de puntos y la información espacio-temporal de los escenas 3D capturadas para mejorar la precisión y eficiencia de la detección de áreas candidatas a caída de rocas. El método propuesto muestra un alto grado de eficacia en la identificación de ´áreas candidatas a desprendimientos de rocas directamente a partir de escenas 3D del mundo real. Finalmente, en lo que respecta a la tercera parte sobre aplicaciones que están en la intersección de la fabricación industrial, el aprendizaje profundo y la visión por computadora, se ha propuesto una contribución. Esta contribución radica en adaptar modelos de predicción de nubes de puntos 3D para identificar con precisión las herramientas de mecanizado utilizadas en el mecanizado de una pieza industrial. Estos modelos se basan en las superficies muestreadas de la pieza durante su construcción, lo que permite obtener información sobre las herramientas utilizadas y, así, optimizar los procesos de mecanizado industrial y de ingeniería inversa. Específicamente, proponemos un proceso novedoso y desarrollamos pautas para poder identificar autom´áticamente las herramientas utilizadas mediante el uso de nubes de puntos temporales 3D, tomadas durante el proceso de manufactura de una pieza industrial. Esta tesis contiene diferentes avances en el tratamiento de nubes de puntos 3D en aplicaciones del mundo real. Aborda alguna de las lagunas existentes en este campo de la investigación, plantea nuevas preguntas de investigación y explora nuevas direcciones de investigación. Presentamos técnicas clásicas de aprendizaje profundo y aprendizaje automático en nubes de puntos 3D y aplicaciones del mundo real en geociencia y fabricación industrial. Las contribuciones descritas establecen una base para futuros avances y la utilización efectiva de modelos en nubes de puntos 3D en diversas disciplinas. Nuestros hallazgos, el software desarrollado y los recursos presentados en esta presentación están disponibles para la comunidad para facilitar futuras investigaciones y transferencia de conocimientos. |
| نوع الوثيقة: | Dissertation/Thesis |
| وصف الملف: | application/pdf |
| اللغة: | English |
| URL الوصول: | http://hdl.handle.net/10803/692840 |
| Rights: | ADVERTIMENT. Tots els drets reservats. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs. |
| رقم الانضمام: | edstdx.10803.692840 |
| قاعدة البيانات: | TDX |
| الوصف غير متاح. |