Detection and classification of ultrasonic vocalizations from neonatal mice using machine learning

Abstract

The study of animal behavior has fascinated scientists for hundreds of years. An important source of behavior information can go unnoticed to heedless ears, which is the emission of ultrasonic vocalization (USV) by certain species of mammals, such as mice. With the goal of having an accurate and flexible system to detect and classify USVs emitted by mice, here we describe the development of VocalMat, a software tool to analyze USVs in audio files. VocalMat uses image-processing and differential geometry approaches to detect USVs in spectrograms, eliminating the need of user-defined parameter tuning. Moreover, VocalMat classification module uses computational vision and machine learning methods to classify USVs into distinct categories. In a data set of >4,000 USVs emitted by infant mice, VocalMat detected more than > 98% of the USVs and accurately classified 85% of USVs when considering the most likely label and 95% when considering the two most likely labels. We used Diffusion Maps and Manifold Alignment to analyze the probability distribution of USV classification among different groups, which provided a robust method to quantify and qualify the vocal repertoire of mice in different experimental conditions. Thus, VocalMat allows accurate and highly quantitative analysis of USVs, opening the opportunity for detailed analysis of this behavior.

O estudo do comportamento animal fascina cientistas há centenas de anos. Uma fonte importante de informações sobre o comportamento pode passar despercebida a ouvidos descuidados, que é a emissão de vocalização ultrassônica (USV) por certas espécies de mamíferos, tais como camundongos. Com o objetivo de ter um sistema preciso e flexível para detectar e classificar USVs emitidos por camundongos, aqui descrevemos o desenvolvimento do VocalMat, uma ferramenta de software para analisar USVs em arquivos de áudio. O VocalMat usa abordagens de processamento de imagem e geometria diferencial para detectar USVs em espectrogramas, eliminando a necessidade de ajuste de parâmetro definido pelo usuário. Além disso, o módulo de classificação VocalMat usa visão computacional e métodos de aprendizado de máquina para classificar USVs em categorias distintas. Em um conjunto de dados de >4.000 USVs emitidos por filhotes de camundongos, VocalMat detectou mais de 98% dos USVs e classificou com precisão 85% de USVs ao considerar categoria mais provável e 95% ao considerar as duas categorias mais prováveis. Utilizamos Diffusion Maps e o Manifold Alignment para analisar a distribuição de probabilidade da classificação de USV entre diferentes grupos, o que forneceu um método robusto para quantificar e qualificar o repertório vocal em diferentes condições experimentais. Assim, o VocalMat permite uma análise precisa e altamente quantitativa das USVs, abrindo a oportunidade para uma análise detalhada deste comportamento.