Improving rare chord recognition through self-learning techniques and weak label generation

Abstract

In the context of Automatic Chord Recognition (ACR), the main goal is to extract and classify musical chords from sequential information (audio excerpts). It is a challenging task, not only when developing a classifier for it, but also when labelling its data. It requires a certain expertise in the domain when defining the ground truth for the data, unlike other tasks, such as object recognition. This results in a limited number of publicly available datasets and even more limited number of rare chord samples in general, resulting in a very biased performance by classifiers. In this work, some techniques to mitigate this issue will be explored. First, a modified loss function, known as focal loss will be applied, attempting to improve the performance of these rarer classes. Next, an image recognition training technique known as Noisy Student, which applies an iterative self-learning process to improve performance, will be modified for the audio domain and applied to the problem of ACR. Furthermore, an extension for this last technique using a weakly labeled generated ACR dataset for confidence boosting in the self-learning process will be proposed and applied. The dataset generation algorithm, based on data extracted from online musical chord communities will also be presented. The experiments performed showed significant improvements on the prediction accuracy of rare chords, while also slightly improving the overall accuracy for all chords in general. Keywords: Automatic chord recognition, data imbalance, self-learning, focal loss, weak labels, sequential data.

No contexto de Reconhecimento Automático de Acordes (ACR), o principal objetivo é o de extrair e classificar acordes musicais a partir de um dado sequencial (trechos de áudio). Essa é uma tarefa desafiadora, não somente quando desenvolvendo um classificador para ela, mas também quando rotulando seus dados, já que é necessária uma expertise em seu domínio para poder definí-lo, diferentemente de outras áreas, como reconhecimento de imagem. Isso resulta em um número limitado de conjuntos de dados disponíveis publicamente, e um número ainda mais limitado de amostras de acordes raros, gerando resultados enviesados em classificadores. Neste trabalho, al gumas técnicas para mitigar esse problema serão exploradas. Primeiro, uma função de loss modificada, conhecida como Focal Loss, será aplicada, buscando uma melhoria nessas classes mais raras. Em seguida, uma técnica de auto-aprendizagem do domínio de reconhecimento de imagem, conhecida como Noisy Student, será extendida ao domínio de áudio e aplicada ao problema de ACR. Além disso, uma extensão para essa mesma, utilizando um conjunto de dados com rótulos fracos e gerados automáticamente para aumentar a confiança do algoritmo de auto-aprendizagem, será proposta e aplicada. O algorítmo utilizado para a geração desse conjunto de da dos, com base em dados extraídos de comunidades online para acordes musicais, também será apresentado. Os experimentos realizados trouxeram ganhos significa tivos de performance para os acordes raros, também gerando um pequeno ganho na performance de acordes em geral.