Normalizing flows : a study on models’ coherence

Abstract

Normalizing Flows (NFs) have gathered significant attention from the academic commu nity as a means of embedding a data distribution into a much simpler base distribution. The second belonging to a latent space with the same dimensionality as the data. The Machine Learning models’ evolution in the last decades and their now viable industrial use have raised concerns regarding the explainability and maintainability of such models. For example, how private the data used to train such a model remains and how easy it is to modify this model such that it complies with the required data protection guidelines. NFs offer a statistically grounded framework that might help us with both: explainability and maintainability. In this work, the concept of NF coherence is informally presented together with evidence of a known but ignored gap between the learned embedding and the base distribution contained in the latent space. This gap significantly impairs the us age of the base distribution, and further hinders more complex models that could arise from NF-based ones. Guided by the concept of NF coherence, we will asses two adapted models based on the Glow model. Several questions are raised that, to the best of the author’s knowledge, have not been considered in the literature. The potential existence of a non-unimodality metric that could improve future assessments of the quality of fit of NFs is also discussed.

Normalizing Flows (NFs) atraíram atenção significativa da comunidade acadêmica como um meio de mergulhar uma distribuição de dados em uma distribuição de base muito mais simples. A segunda pertencendo a um espaço latente de mesma dimensionalidade dos dados. A evolução dos modelos de Aprendizado de Máquina nas últimas décadas e seu agora viável uso industrial trouxe preocupações a respeito da explicabilidade e manuteni bilidade de tais modelos. Por exemplo, quão privados são mantidos os dados utilizados no treinamento de tal modelo e quão fácil é modificá-lo de modo a cumprir com as diretrizes de proteção de dados requeridas. NFs oferecem um framework fundado em estatística que talvez possa nos ajudar com ambos: explicabilidade e manutenibilidade. Neste tra balho, o conceito de coerência de NF é informalmente apresentado junto de evidências de uma conhecida, mas ignorada brecha entre o mergulho aprendido e a distribuição de base contida no espaço latente. Essa brecha restringe de modo significativo o uso da dis tribuição de base e, subsequentemente, prejudica modelos mais complexos que poderiam emergir dos modelos fundamentados em NFs. Guiado pelo conceito de coerência de NF, vamos analisar dois modelos baseados no modelo Glow. no conceito de coerência de NF, diversas questões são levantadas que, no melhor do conhecimento do autor, não foram consideradas na literatura. A potencial existência de uma métrica de não-unimodalidade que pode aprimorar futuras avaliações da qualidade de ajustamento de NFs também é discutida.