Visual analytics as a tool for deep learning engineering

Abstract

Deep Neural Networks are responsible for many groundbreaking results achieved in Arti- ficial Intelligence over the past decade. Several applications from a wide range of domains have begun to employ these models to solve recognition and learning tasks at both scien- tific and industrial level. Despite the significant growth in usage, the design of effective neural networks still faces multiple challenges, hindering the full potential of such tech- niques. In particular, the high complexity of such models, that often contain thousands or even millions of parameters spread across several layers, makes it challenging to identify which features the model learned to recognize and how they affect the decision process. Without this knowledge, neural networks become essentially a black-box approach that provides little understanding of what the model does. Such a characteristic is undesir- able because it hinders the ability to interpret and evaluate the inner workings of such networks. If we can have more understanding about the model, we can use this infor- mation to build models with higher and fairer performance, and that can be employed in more critical tasks — such as medical applications — where understanding how the model comes up to a particular conclusion is extremely important. One way to address these challenges is the employment of visual analytics tools to support the exploration and analysis of features learned by neural networks. Many of such tools were developed over the past few years, each with the intent to address challenges in one or more steps of the neural network design workflow. In this work, we review such visual analytics tools, and we propose a taxonomy to classify them according to whether they provide the analysis of the network’s architecture, the evaluation of the training process, or the understanding and interpretation of which features the model learned to recognize. Next, we propose a novel visualization technique to guide the architectural tuning of neural networks. We also demonstrate, with a series of experiments, how our method can provide many in- sights about whether a network’s architecture should be changed and which changes — such as adding or removing layers and increasing or decreasing layer size — the designer should perform.

Redes Neurais Profundas são responsáveis por muitos dos mais importantes resultados alcançados na Inteligência Artificial na última década. Muitas aplicações em diversas áreas começaram a utilizar estes modelos para solucionar tarefas de reconhecimento e aprendizado tanto à nível industrial quanto científico. Apesar do significativo aumento na utilização desta técnica, o desenvolvimento de redes neurais efetivas ainda encara vários desafios que acabam freando o potencial destas técnicas. Em particular, a alta complexi- dade destes modelos, que frequentemente contem milhares, ou mesmo milhões, de parâ- metros espalhados por várias camadas, dificulta a identificação das features que o modelo aprendeu a reconhecer e como elas afetam o seu processo de decisão. Sem tal conheci- mento, as redes neurais se tornam essencialmente uma caixa-preta que dá pouquíssimo entendimento sobre o que o modelo está realmente fazendo. Isso é indesejável pois di- minui a capacidade do usuário de interpretar e avaliar os processos internos dessas redes. Se nós conseguíssemos fazer isso, nós poderíamos usar tal informação para construir mo- delos não só com melhor performances, mas também com processos de decisão mais embasados, de forma que possam ser empregados em tarefas críticas — como aplicações médicas — onde entender como o modelo chega à uma certa conclusão é extremamente importante. Uma forma de abordar esses desafios é o emprego de ferramentas de análise visual que permitam a exploração e análise das features aprendidas pelas redes neurais. Muitas dessas ferramentas foram desenvolvidas nos últimos anos com o objetivo de abor- dar desafios em uma ou mais etapas do fluxo de desenvolvimento de uma rede neural. Neste trabalho, nós revisamos estas ferramentas de análise visual e introduzimos uma ta- xonomia para classificá-las de acordo com o tipo de análise que elas providenciam, seja a análise da arquitetura da rede, a avaliação do processo de treinamento, ou a análise e interpretação de quais features o modelo aprendeu a reconhecer. Após isso, nós ainda propomos uma nova técnica de visualização para guiar a escolha da arquitetura de redes neurais. Nós demonstramos, através de uma série de experimentos, como nosso método pode revelar múltiplas informações sobre como e se a arquitetura da rede deve ser modi- ficada — por exemplo, adicionando camadas ou aumentando o número de neurônios — para melhorar a performance da rede.