Sistema audio visual para análise de solfejo

Abstract

O solfejo, em seu conceito mais amplo, é uma técnica usual no processo de ensinoaprendizagem musical, o qual envolve a realização vocal de melodias, considerando as alturas e as durações dos sons musicais registrados em partitura, devidamente associado à marcação de compassos por intermédio de gestos que definem a estrutura métrica e o andamento da peça musical. Este trabalho apresenta uma abordagem audiovisual para avaliação automática dessa prática de estudo pertinente à leitura e à estruturação musicais. O sistema proposto é dividido em três partes. A primeira efetua o reconhecimento visual dos gestos de marcação de compassos realizados pela mão, por intermédio de um classificador probabilístico. Um processo de alinhamento temporal garante o reconhecimento dos padrões de movimento mesmo em casos com variação de andamento, permitindo também a avaliação da precisão rítmica do aluno, quando comparado com um referencial metronômico. A segunda parte deste sistema obtém a transcrição melódica do canto a partir da análise do respectivo sinal de áudio. Os fragmentos melódicos detectados são agrupados e mapeados em relação às notas da partitura do exercício de solfejo, permitindo uma avaliação direta nota-a-nota da performance do canto. Por fim, a terceira parte do sistema proposto faz a integração entre o gesto de marcação de compassos e a transcrição melódica. Nesse caso, o gesto atua como um metrônomo, controlando o fluxo temporal. Assim, a avaliação nota-a-nota do solfejo pode ser empregada também em casos onde exista grande variação no andamento da peça. Tanto o processo de avaliação do gesto de marcação de compassos quanto a avaliação do canto são obtidos por intermédio de um classificador Bayesiano gerado a partir de avaliações reais, feitas por especialistas em música. Dessa forma, o sistema desenvolvido efetua o mapeamento advindo da opinião de especialistas humanos em um sistema de avaliação automática de solfejo executado por máquina, que é capaz de identificar as notas musicais cantadas pelo aluno em cada instante métrico determinado, devidamente conduzido pelo gesto, sem a necessidade de sincronização por um metrônomo ou manutenção de um andamento fixo.

Solfége is a general technique used in the music learning process, which involves the vocal performance of melodies, regarding the time and duration of musical sounds as specified in the music score, properly associated the meter-mimicking performed by the hand movement. This thesis presents an audiovisual approach for automatic assessment of this relevant musical study practice. The proposed system is divided into three parts. First, a probabilistic classifier recognizes the musical metric patterns drawn by the hand movement. A time alignment process assures the proper recognition of the movement patterns even in cases where there are changes in the musical tempo. Also, this process allows to estimate the accuracy of the rhythmic performance. In the second part of this work, audio analysis is applied to achieve the melodic transcription of the sung notes. The detected melodic fragments are then grouped and mapped into single notes, which are connected to their related notes on the music score of the solfège exercise. This mapping procedure allows the direct assessment (note by note) of the singing performance, even if there are slight discrepancies between the transcribed notes and the music score. Finally, the last part of the proposed system combines the gesture of meter-mimicking (video information) with the melodic transcription (audio information), where the hand movement works as a metronome, controlling the time flow (tempo) of the musical piece. Thus, the meter-mimicking is used to align the music score (ground truth) with the sung melody, allowing the assessment even in time dynamic scenarios. Both meter-mimicking and sung notes are evaluated by a set of Bayesian classifiers that were generated from real evaluations done by experts listeners. In this way, the developed model performs the mapping of the point of view from human experts into an automatic system which is able to make the solfege assessment, regarding the pitch, onset and duration of the music notes, without the need for external synchronization with a metronome or the maintenance of a fixed tempo.