Quantitative descriptors for a range of visual biologic and synthetic pigmentation patterns

Abstract

Nature is exuberant in visual patterns: spots on mammals, veins on leaves, maze-like structures in fishes, and many others. Computer Graphics has achieved success in model- ing and rendering many of these patterns. Nevertheless, a fundamental problem remains: how to validate the results beyond visual comparison. Here we propose a set of quantitative descriptors tailored to describe visual biological patterns found in many species of mammals and fishes. We are interested in analyzing the most common pattern structures: spots, labyrinths, and stripes. First, we compute a set of metrics from a dataset of real patterns – curated from scratch from publicly available repositories – and synthetic images generated using reaction-diffusion simulations. We calculate our first four descriptors as ratios of “global” measures. The last eight descriptors are the standard deviation of the average measure of pattern region features, giving us twelve descriptors. We validate the descriptors through two machine learning tasks on an augmented dataset with real and synthetic patterns. First, the descriptors are used as features of a supervised classifier with an overall accuracy of 98.4%, a result better than that obtained with a general state- of-the-art convolutional classification network. Second, we tested the descriptors in an unsupervised clustering task, differentiating natural from artificial patterns and identify- ing species studied in the natural pattern set. Clustering was also used for unsupervised detection of regions of biologic patterns over larger images.

A natureza é exuberante em padrões visuais: padrões de manchas em mamíferos, veias em folhas, estruturas labirínticas em peixes e muitos outros. A Computação Gráfica alcançou sucesso na modelagem e renderização de muitos desses padrões. No entanto, um problema fundamental permanece: como validar os resultados além da comparação visual. Neste trabalho, é proposto um conjunto de descritores quantitativos adaptados para descrever padrões biológicos visuais encontrados em várias espécies de mamíferos e peixes. Foram analisadas as estruturas de padrões mais comuns, como padrões de manchas, labirintos e listras. Primeiro, é calculado um conjunto de métricas para uma base de imagens de padrões reais – selecionadas de repositórios disponíveis publicamente – junto com imagens sintéticas, geradas usando simulações de reação-difusão (reaction-diffusion). Os quatro primeiros descritores são calculados a partir de razões entre medidas “globais”. Os oito descritores restantes são definidos como o desvio padrão da média das métricas obtidas a partir das características das regiões do padrão, totalizando doze descritores. Estes descritores são validados em duas tarefas de aprendizado de máquina em um conjunto de dados com padrões reais e sintéticos. Primeiro, os descritores são usados como entradas para um classificador supervisionado, obtendo uma precisão geral de 98,4%, um resultado melhor do que o obtido em rede de classi- ficação convolucional de propósito geral de última geração. Para a segunda validação, os descritores são testados em uma tarefa de agrupamento (clustering) não supervisi- onado, sendo capaz de diferenciar padrões naturais de artificiais e também identificar espécies estudadas no conjunto de padrões naturais. O agrupamento também foi usado para detecção não supervisionada de regiões de padrões biológicos em imagens maiores.