Detecção de objetos aplicada a nanopartículas com YOLO

Abstract

Nanopartículas possuem propriedades físicas, químicas e biológicas únicas, decorrentes de sua estrutura em escala nanométrica. Essas propriedades têm amplas aplicações em campos científicos e industriais. A determinação do tamanho das nanopartículas é crucial para a compreensão de suas propriedades e comportamentos, tornando necessárias técnicas de medição precisas. A medição manual é demorada, frequentemente exigindo horas de trabalho, o que destaca a demanda por automação para melhorar sua eficiência. Este trabalho tem como objetivo desenvolver um modelo de visão computacional, especificamente YOLOv8, para automatizar parcialmente a detecção e medição dos tamanhos de nanopartículas de bismuto em imagens de microscopia eletrônica de transmissão. O modelo trabalha com dados limitados, identifica caixas delimitadoras ao redor das nanopartículas, inferindo seus diâmetros, e responde às limitações da contagem manual, garantindo precisão em dados com qualidades de imagem variadas. Diferentes modelos de detecção de objetos foram comparados, incluindo o simple blob detector disponibilizado pelo OpenCV e versões do modelo YOLOv8, com e sem aumento de dados offline. O modelo YOLOv8 com caixas delimitadoras orientadas, treinado sem aumento de dados adicional, apresentou o melhor desempenho geral, sendo o mais eficaz na medição e alcançando a segunda melhor performance na detecção de nanopartículas dentre os modelos baseados em deep learning. A solução proposta é de código aberto, o que pode democratizar o acesso a ferramentas de medição automatizada, possibilitando que pequenos grupos de pesquisa e instituições com menos recursos realizem estudos de nanopartículas de forma mais eficiente. Além disso, a metodologia desenvolvida tem o potencial de ser adaptada para analisar outras estruturas microscópicas, como células, microplásticos ou materiais nanoestruturados, ampliando sua aplicabilidade para outras investigações científicas.

Nanoparticles possess unique physical, chemical, and biological properties that stem from their nanoscale structure. These properties have broad applications in scientific and industrial fields. Determining the size of nanoparticles is crucial for understanding their properties and behaviors, making precise measurement techniques essential. Manual size measurement is time-intensive and often requires hours of effort. This highlights the need for automation to improve efficiency. This study aims to develop a computer vision model, specifically YOLOv8, for partially automating the detection and measurement of bismuth nanoparticle sizes in transmission electron microscopy images. The model works with limited data, identifies bounding boxes around nanoparticles, inferring their diameters and addresses the challenges of manual counting, ensuring accuracy across datasets with varying image qualities. Different object detection models were compared, including the simple blob detector provided by OpenCV and versions of the YOLOv8 model, with and without offline data augmentation. The YOLOv8 model with oriented bounding boxes, trained without additional data augmentation, showed the best overall performance, being the most effective in measurement and achieving the second-best performance in nanoparticle detection of the deep learning based models. The proposed solution is open-source and low-cost, which can democratize access to automated measurement tools, possibly enabling smaller research groups and institutions with less resources to conduct nanoparticle studies more effectively. Furthermore, the methodology developed has the potential to be adapted for analyzing other microscopic structures, such as cells, microplastics, or nanostructured materials. This could expand its applicability to a broader range of scientific investigations.