Improving digital photography : revisiting core aspects through a deep-learning lens

Abstract

This dissertation revisits fundamental aspects of computational photography using state-ofthe- art deep-learning strategies to improve them. We propose two novel techniques that enhance the digital-photography pipeline. More specifically, we show how to improve image acquisition and noise handling. For image acquisition, we present a novel approach based on convolutional neural networks for jointly optimizing the design of color filter arrays and demosaicing. Our trained models provide high-quality color reconstruction and achieve higher peak signal-to-noise ratio (PSNR) values on standard datasets, surpassing previous techniques for both noise-free and noisy data. For noise handling, we propose an architecture based on generative adversarial networks (GANs) that is capable of adjusting the noise level of a given image. Through validation tests, we show that the noise generated by our models are much closer to what is found in photographs when compared to existing methods (Gaussian/Poisson noise). We evaluate the use of our generative models when training a denoiser, showing that training with images synthesized by our models indeed have superior performance on natural-images denoise benchmarks. By improving core steps of the digital-imaging pipeline, our methods have the potential to improve the overall quality of digital photographs.

Esta tese revisita aspectos fundamentais da fotografia computacional, enquanto os aperfeiçoa utilizando estratégias de deep-learning do estado da arte. Esta tese propõe duas técnicas que aprimoram o pipeline de fotografia digital. Especificamento, nós mostramos como melhorar o processo de aquisição de imagens e o tratamento de ruído natural. Para aquisição de imagens, nós apresentamos uma técnica inovadora baseada em Convolutional Neural Networks que otimiza conjuntamente o design de color filter arrays e o método de demosaicing. Os modelos treinados proporcionam reconstruções de alta qualidade, alcançando valores de PSNR (Peak Signal-to-Noise Ratio) maiores em diversos datasets, superando técnicas anteriores tanto para o caso de imagens sem ruído quanto para imagens ruidosas (demosaicing+denoising). Para o tratamento de ruído, nós propomos uma arquitetura baseada em GANs (Generative Adversarial Networks) que é capaz de ajustar o nível de ruído presente em uma imagem. Através de testes de validação, nós mostramos que o ruído sintetizado por nossos modelos é muito mais próximos que o encontrado em fotografias reais quando comparado com os métodos existentes (Gaussiano/Poisson). Nósavaliamos o uso de nossos modelos generativos no treinamento de denoisers, mostrando que os denoisers treinados utilizando imagens sintetizadas pela nossa ténica conseguem uma performance superior em benchmarks de remoção de ruído de images naturais. Visto que nossas técnicas melhoram aspectos importante do pipeline de imagens digitais, elas têm o potencial de melhorar a qualidade geral de fotografias digitais.