Prototipação dos instrumentos musicais sinestésicos e sua aplicação para análise de dados

Abstract

Fundamentando-se no crescimento sem precedentes da obtenção e armazenamento de dados, enxerga-se a importância da data science, que tem no dia-a-dia cada vez mais desafios. Apresentam-se como possível ferramenta para o data scientist os Instrumentos Musicais Sinestésicos (IMS). Baseado no conceito de sinestesia, no qual um estímulo sensorial desencadeia alguma experiência sensorial não relacionada, os IMS pretendem transformar dados ambientais que são comumente sentidos como temperatura, umidade e pressão, em som. Dessa forma, esses dados ambientais podem ser interpretados em uma nova dimensão sensorial que não a visão, realiza-se um tipo de sinestesia sintética. O trabalho apresenta um projeto que tem como objetivo a obtenção de um protótipo de software que seja a prova de conceito dos Instrumentos Musicais Sinestésicos. Deseja-se realizar essa prototipação dos IMS através da obtenção de sons a partir de dados ambientais (referentes a temperatura, luminosidade, umidade relativa do ar e pressão) de forma que seja possível comparar, através da audição, os parâmetros coletados em períodos e locais com características diferentes. A produção de som a partir de alguma informação chamamos de “sonificação”. Enxergando os desafios de um trabalho que envolve-se com diversas áreas do conhecimento, tenta-se estabelecer uma linguagem comum para que se tenha um entendimento na comunicação entre as áreas como acústica, psicofísica, estatística e computação. Além disso, para promover o envolvimento entre a academia e a sociedade bem como uma (lenta) interação e dissolução das diversas “facções científicas”, a metodologia fundamenta-se nas práticas da Ciência Aberta, com o software sendo livre e desenvolvido com a licença GPLv3, com a criação de um caderno de laboratório aberto e com a utilização de dados publicamente disponíveis. O software foi aplicado para a realização da sonificação de dados meteorológicos das estações meteorológicas do Instituto Nacional de Meteorologia, INMET. Também foram desenvolvidos algoritmos de ajuste dos dados para melhor representação sonora. Estes algoritmos realizam a média horária anual e realizam as médias com ajuste a partir dos horários de nascer e pôr do sol. Obtiveram-se sonificações de diversos dias, bem como as médias anuais e médias com ajuste para duas estações meteorológicas da Amazônia, duas da Caatinga e três cidades subtropicais. Como esperado, os dados mostraram-se periódicos com período de aproximadamente um dia. A partir do trabalho realizado poderá ser realizada a implementação de sintetizador para executar as sonificações, poderão ser implementadas outras técnicas de sonificação, pode-se implementar a união do software de sonificação com projetos de ciência cidadã sonificando dados ambientais e podem-se realizar instalações artísticas com sonificações a partir de dados.

Based on the unprecedented growth on data gathering and storage, we see an increasing relevance of data science, an area of knowledge that engages us in an ever challenging routine. We present as a possible new tool to the data scientist the Synesthesic Musical Instruments (SMI). Based on the concept of synesthesia, on which a sensory stimulus provokes an unrelated sensory experience, the SMI intend to transform environmental data that we usually feel like temperature, humidity, and pressure, in sound. Thus, the environmental data can be interpreted in a new sensory dimension which is not vision, creating a form of synthetic synesthesia. The present work introduces a project that intends to prototype a software to be a proof of concept of the Synesthesic Musical Instruments. We will do so by obtaining sound out of environmental data (like temperature, luminosity, humidity and pressure) in such a way that it’s possible to compare data collected in different times or locations by hearing the sound. Creation of sound from information is called “sonification”. By seeing the challenges of a work that encompass many areas of knowledge, we try to establish a common language so we can have an understanding in areas like acoustics, psychophysics, statistics and computer science. Moreover, to promote an engagement between the academia and society as well as a (slow) dissolution of the many “scientific entourages”, the methodology employed is based on the practices of Open Science by developing software licensed by GPLv3, by creating an open laboratory workbook and by using publicly available data. We wrote the software for meteorological data sonification from the meteorological stations of the “Instituto Nacional de Meteorologia”, INMET as well as algorithms to better sonify the data. These algorithms calculate the hourly annual average and calculate the averages with an adjustment based on the times of the sunset and sunrise. We obtained sonifications for several days, and also the annual averages and the adjusted averages for two stations at Amazon (the rainforest), two at Caatinga and three at subtropical cities. As expected, the data is mostly periodic with periods of approximately one day. Starting from the developments of this work there is the possibility to create a synthesizer to play the sonifications, there could be implemented other methods of sonification, one could implement the merge of this software with citizen science projects by playing environmental data, and there could even be an artistic installation about sonificating out of data.