Classificação automática de lesões bucais no apoio ao diagnóstico: uma abordagem de aprendizado profundo e inteligência artificial explicável

Abstract

O câncer bucal representa um desafio significativo para a saúde pública global, exigindo métodos de diagnóstico precoce que sejam precisos e acessíveis. Recentemente, modelos de aprendizado profundo têm demonstrado potencial na análise de imagens intraorais. No entanto, a presença de artefatos visuais em fotografias de face total e a ausência de integração com dados clínicos multimodais limitam a eficácia de abordagens puramente automatizadas. Esta pesquisa propõe uma abordagem multimodal baseada em Redes Neurais Convolucionais para a classificação de lesões orais, integrando informações visuais de fotografias intraorais e metadados clínicos dos pacientes. A metodologia consistiu no desenvolvimento de um pipeline de processamento para a extração da Região de Interesse (ROI), visando mitigar o impacto de elementos irrelevantes presentes nas imagens completas. Foram avaliadas quatro arquiteturas, incluindo MobileNetV2, MobileNetV3 Small, EfficientNetB0 e ConvNeXt Tiny. Foi adotado um protocolo rigoroso de separação de subconjuntos de treinamento, validação e teste por paciente, mitigando o vazamento de dados e garantindo uma avaliação realista da capacidade de generalização do modelo. Os resultados demonstram que o recorte da ROI elevou significativamente o desempenho das redes, com a MobileNetV3 Small atingindo 84,81% de acurácia. A integração multimodal, combinando a extração de características visuais com variáveis clínicas, alcançou o desempenho superior de 88,52% de acurácia e Loss de 0,3472 nos dados de teste, um F1-score macro de 0,8601 e macro recall de 83,29%. A interpretabilidade das decisões foi validada por meio de técnicas de Grad-CAM e LIME, confirmando que os modelos concentram a atenção em regiões clinicamente relevantes. A comparação com o estado da arte revelou que, embora estudos relacionados relatem acurácias superiores (acima de 95%), tais pesquisas frequentemente não mencionam o rigor da separação por paciente. Em contraste, este trabalho supera as abordagens multimodais validadas sob protocolos similares, consolidando-se como uma solução robusta para o auxílio ao diagnóstico clínico. Conclui-se que a combinação de segmentação estratégica, integração de dados heterogêneos e transparência algorítmica constitui um avanço essencial para a aplicação ética e eficaz da inteligência artificial na oncologia bucal.

Oral cancer represents a significant challenge to global public health, requiring accurate and accessible early diagnostic methods. Recently, deep learning models have shown promise in analyzing intraoral images. However, the presence of visual artifacts in fullface photographs and the lack of integration with multimodal clinical data limit the effectiveness of purely automated approaches. This research proposes a multimodal approach based on Convolutional Neural Networks for the classification of oral lesions, integrating visual information from intraoral photographs and clinical metadata from patients. The methodology consisted of developing a processing pipeline for Region of Interest (ROI) extraction to mitigate the impact of irrelevant elements in complete images. Four architectures were evaluated, including MobileNetV2, MobileNetV3 Small, EfficientNetB0, and ConvNeXt Tiny. A rigorous protocol for separating training, validation, and patient-based testing subsets was adopted, mitigating data leakage and ensuring a realistic assessment of the model’s generalization capacity. The results demonstrate that ROI clipping significantly improved network performance, with MobileNetV3 Small achieving 84.81% accuracy. Multimodal integration, combining visual feature extraction with clinical variables, achieved superior performance with 88.52% accuracy and a loss of 0.3472 in the test data, a macro F1-score of 0.8601, and a macro recall of 83.29%. The interpretability of the decisions was validated using Grad-CAM and LIME techniques, confirming that the models focus attention on clinically relevant regions. Comparison with the state of the art revealed that although related studies report superior accuracies (above 95%), these studies often fail to specify the rigor of patient separation. In contrast, this work surpasses validated multimodal approaches under similar protocols, establishing itself as a robust solution to aid clinical diagnosis. It is concluded that the combination of strategic segmentation, heterogeneous data integration, and algorithmic transparency constitutes an essential advance for the ethical and effective application of artificial intelligence in oral oncology.