Musical brush : development and exploration of a tool that supports creativity by combining music with drawing

Abstract

The use of digital tools has become a standard in several activities of our daily lives. In the music domain, the exploration of digital music has continuously increased since the rise of electronic music and sound synthesis back in the 60s, for example culminating in a wide range of musical instruments available nowadays. Along with new devices, the advancements in technology contributed to the emergence of alternative ways to interact and express music. Examples range from musical applications exploring Augmented, Mixed, and Virtual realities for sound visualization to mobile applications that make use of several sensors to control musical parameters. In this work, we introduce Musical Brush, a novel artistic application that combines music and drawing. The application’s main purpose is to provide an easy way for novice users to compose and express musically. Musical Brush is designed for mobile devices and explores Augmented Reality to create a visual representation of music in real-time. The application provides a very expressive experience in a portable setup through the use of the embedded sensors present in a smartphone. In a first exploratory study, we collect overview feedback regarding the usage, interface, and interactions. From the results, we designed and developed improvements on some of the application audiovisual mapping gestures, which were not perceived as intuitive as expected. A positive finding was the high level of user engagement and enjoyability while handling the application, mainly caused by the tool’s ability to draw in three dimensions. Taking into consideration the strong relation between Musical Brush and ‘Creativity’ during the improvisation process, allied with the growing interest of the Human-Computer Interaction community toward this topic, particularly in the study of Creativity Support Tools, we proposed a second investigation focused on exploring the capability of Musical Brush to support the creativity of individuals. The user study was carried out comparing four different versions of Musical Brush, analyzing distinct degrees of interaction and audiovisual feedback. We demonstrate that our application presents good results regarding the ability to support creativity-related attributes such as ‘Results Worth Effort’, ‘Exploration’, and ‘Expressiveness’. Among the reasons, the visual feedback through virtual three-dimension drawings was the key application feature responsible for this contribution.

O uso de ferramentas digitais tornou-se comum em várias das nossas atividades diárias. Na música, a exploração da música digital tem aumentado continuamente desde o surgimento da música eletrônica e da síntese sonora nos anos 60, culminando, por exemplo, em uma ampla gama de instrumentos musicais disponíveis nos dias de hoje. Juntamente com novos dispositivos, os avanços na tecnologia em geral contribuíram para o surgimento de novas formas alternativas de interação e expressão musical. Exemplos incluem aplicativos musicais que exploram Realidade Aumentada, Mista e Virtual para visualização sonora em aplicativos móveis e que fazem uso de vários sensores para controlar parâmetros musicais. Neste trabalho, apresentamos o Musical Brush, um novo aplicativo artístico que combina música e desenho. O principal objetivo da aplicação é prover uma maneira fácil para usuários iniciantes comporem e se expressarem musicalmente. Musical Brush é projetado para dispositivos móveis e explora a Realidade Aumentada para criar uma representação visual da música em tempo real, fornecendo assim uma experiência extremamente expressiva e em uma configuração portátil através do uso de sensores incorporados em um smartphone. Em um primeiro estudo exploratório, coletamos opiniões gerais sobre Musical Brush em relação ao seu uso, sua interface e suas interações. A partir dos resultados, projetamos e desenvolvemos melhorias em algumas das interações que tem como objetivo controlar parâmetros musicais, as quais mostraram não ser tão intuitivas quanto esperado. Uma descoberta positiva foi o alto nível de envolvimento e satisfação dos participantes ao usarem a aplicação, causado principalmente pela capacidade de criar desenhos em três dimensões. Levando em consideração a forte relação entre Musical Brush e a ‘Criatividade’ durante o processo de composição, aliada ao crescente interesse por parte da comunidade de Interação Humano-Computador neste tópico, mais particularmente no estudo de Ferramentas de Suporte à Criatividade, propusemos uma segunda investigação focada em explorar a capacidade da ferramenta de auxiliar a criatividade em indivíduos. O estudo de usuário foi realizado comparando quatro versões diferentes de Musical Brush, analizando graus distintos de interação e feedback audiovisual. Demonstramos que nossa aplicação apresenta bons resultados no que diz respeito à capacidade de apoiar atributos relacionados à criatividade, tais como: ‘Resultados dignos de Esforço’, ‘Exploração’ e ‘Expressividade’. Entre os motivos, o feedback visual através de desenhos tridimensionais se mostrou como principal recurso responsável por tal contribuição.