Evaluating the use of diffusion models to generate photorealistic images of oral mucosa cells

Abstract

Diffusion Models, a contemporary class of deep generative models, have emerged as powerful tools for generating complex data distributions. As such, these models can be used in a diverse range of applications. In this study, we delve into the exploration of the potential use of Diffusion Models in the generation of photorealistic images specifically focused on oral mucosa cells. We conducted two sets of experiments with Diffusion Models aimed at generating such images. The first set of experiments involved training two implementations of diffusion models from scratch on a subset of our dataset. This subset was used to accelerate training with the available resources. Our second set of experiments aimed to explore fine-tuning methods on pre-trained text-to-image synthesis diffusion models. Specifically, we experimented with the applicability of two fine-tuning methods (DreamBooth and a vanilla approach) on the Stable Diffusion Model to generate four classes of oral mucosa cells. Additionally, we compared the impact of training/fine tuning our models using either a subset of our dataset consisting of 480 images, to using the entire dataset. We found that while the quality of the generated images was not significantly affected, training with a bigger dataset did impact the variability of the images. Our results demonstrate that Diffusion Models are capable of generating photorealistic images of oral mucosa cells. The obtained synthetic images are qualitatively similar to photographs of such cells captured using a microscope. These synthetic images are intended to be used for training odontology students in cytopathology. Moreover, it indicates that these models may be able to generate images that can be used for training deep learning models for early mouth cancer detection.

Modelos de Difusão, uma classe contemporânea de modelos generativos profundos, surgiram como ferramentas poderosas para gerar distribuições de dados complexas. Como tais, esses modelos podem ser usados em uma ampla gama de aplicações. Neste estudo, mergulhamos na exploração do potencial uso de Modelos de Difusão para geração de imagens fotorrealistas especificamente focadas em células da mucosa bucal. Conduzimos dois conjuntos de experimentos com Modelos de Difusão com o objetivo de gerar tais imagens. O primeiro conjunto de experimentos envolveu o treinamento de duas implementações de modelos de difusão do zero em um subconjunto de nosso conjunto de dados. Este subconjunto foi usado para acelerar o treinamento com os recursos disponíveis. Nosso segundo conjunto de experimentos visou explorar métodos de ajuste fino em modelos de difusão de síntese de imagem a partir de texto pré-treinados. Especificamente, experimentamos a aplicabilidade de dois métodos de ajuste fino (DreamBooth e uma abordagem convencional de ajuste fino) no Modelo Stable Diffusion para gerar quatro classes de células da mucosa bucal. Além disso, comparamos o impacto do treinamento/ajuste fino de nossos modelos usando um subconjunto de nosso conjunto de dados consistindo de 480 imagens, com o uso do conjunto de dados inteiro. Descobrimos que, embora a qualidade das imagens geradas não tenha sido significativamente afetada, o treinamento com um conjunto de dados maior impactou a variabilidade das imagens. Nossos resultados demonstram que os Modelos de Difusão são capazes de gerar imagens fotorrealistas de células da mucosa oral. As imagens sintéticas obtidas são qualitativamente semelhantes às fotografias de tais células capturadas usando um microscópio. Essas imagens sintéticas destinam-se a ser usadas para treinar estudantes de odontologia em citopatologia. Além disso, indica que esses modelos podem ser capazes de gerar imagens que podem ser usadas para treinar modelos de aprendizado profundo para detecção precoce de câncer bucal.