UAV-based building facade cleaning using autonomous windows detection

Abstract

This research investigates the transformation of conventional vehicles into autonomous systems through the integration of artificial intelligence techniques. Leveraging synthetic data generated by Latent Diffusion Models (LDMs), the study addresses the scarcity of annotated data for glass facades, enabling efficient and precise object detection in contemporary architectural environments. A comparative evaluation of ten YOLO algorithm variants revealed that YOLOv12 achieved the highest mean Average Precision (mAP) of 80% for the “glass window” class on a combined real and synthetic dataset. However, YOLOv4 demonstrated practical performance advantages due to its native C implementation. Simulation tests in Gazebo and ROS2 validated the successful integration of perception, decision-making, and control modules, with the drone completing tasks autonomously and accurately identifying windows. Field experiments, both real-world and simulated, further confirmed the system’s operational robustness, adaptability, and scalability across different drone platforms, highlighting its potential for real-world autonomous applications in facade inspection and cleaning.

Esta pesquisa investiga a transformação de veículos convencionais em sistemas autônomos por meio da integração de técnicas de inteligência artificial. Utilizando dados sintéticos gerados por Modelos de Difusão Latente (LDMs), o estudo aborda a escassez de dados anotados para fachadas de vidro, permitindo uma detecção de objetos eficiente e precisa em ambientes arquitetônicos contemporâneos. Uma avaliação comparativa de dez variantes do algoritmo YOLO revelou que o YOLOv12 alcançou a maior média de Precisão (mAP) de 80% para a classe “vidraça” em um conjunto de dados combinado (real + sintético). No entanto, o YOLOv4 demonstrou vantagens práticas de desempenho devido à sua implementação nativa em C. Testes de simulação no Gazebo e ROS2 validaram a integração bem-sucedida dos módulos de percepção, tomada de decisão e controle, com o drone executando tarefas de forma autônoma e identificando janelas com precisão. Experimentos em campo tanto no mundo real quanto no simulado, confirmaram ainda a robustez operacional do sistema, sua adaptabilidade e escalabilidade em diferentes plataformas de drones, destacando seu potencial para aplicações autônomas em inspeção e limpeza de fachadas no mundo real.