Machine learning for audio on the web

Abstract

In this report, we present our Capstone project for the Course of Computer Science and Management at Polytech Montpellier that we developed in partnership with the SigSep team (Inria, LIRMM) [1]. The project consists of creating an application that allows a user to unmix a song, i.e. to separate each instrument (such as guitar, bass, vocals) from a song, on the web, straight on their browser. In this context, we use JavaScript to develop a program that uses both Digital Signal Processing (DPS) and machine learning techniques and can be run completely on the browser without the need for a server. Our approach consists of manually implementing DSP operations that do not exist in JavaScript, converting a pre-trained model to TensorFlowJS [2] and creating an intuitive and minimalistic UI using Vue.

Dans ce rapport, nous présentons notre Projet de Fin d’études pour le cursus Informatique et Gestion à Polytech Montpellier. Nous avons développé ce projet en partenariat avec l'équipe SigSep (Inria, LIRMM). Le projet consiste à créer une application qui permet à un utilisateur de démixer une chanson, c'est-à-dire de séparer chaque instrument (comme la guitare, la basse, le chant) d'une chanson, sur le web, directement sur son navigateur. Dans ce contexte, nous utilisons JavaScript pour développer un programme qui utilise à la fois le traitement numérique du signal et les techniques d'apprentissage machine et qui peut être exécuté entièrement sur le navigateur sans avoir besoin d'un serveur. Notre approche consiste à implémenter manuellement des opérations DSP qui n'existent pas en JavaScript, à convertir un modèle écrit en TensorFlowJS et à créer une interface utilisateur intuitive et minimaliste à l'aide du framework JavaScript Vue.