Efficient algorithms for process and comunication of multiview videos : contributions to rate control and thread management for 3D-videos

Abstract

This thesis proposes contributions for the encoding process of multiview videos. Analysis of current multi-view video coding standards is presented, aiming to understand the key challenges of these encoders considering communication and processing. This thesis presents two contributions. Firstly, techniques of rate control and data flow adjustment are proposed in the frame and basic unit levels, targeting best accuracy in the output bitstream of the encoder while delivering the desired video quality, considering the restrictions imposed by the transmission system. The predictive techniques at frame level associated with the regions of interest algorithm at the basic unit level to generate a reinforcement of learning in the overall control model present a significant reduction in the bitrate variations. The proposed model does not exceed 1% of the variation in the output data. Also, the visual quality suffered a maximum loss of 1.5%. Second, a thread management associated with workload balancing and power control for multi-view video processing on multi-core platforms. The results obtained by the proposed techniques show that the thread management jointly with coding adjustments allows a significant reduction in complexity. This technique applied to a 32-core system reached up to 51% saving in energy consumption with up to 2% degradation in the visual quality of the video compared to the reference software.

Esta tese propõe contribuições para o processo de codificação de vídeos de múltiplas vistas. Uma análise dos padrões atuais de codificação de vídeos de múltiplas vistas é apresentado destacando os principais desafios destes codificadores considerando comunicação e processamento. Esta tese apresenta duas contribuições. Primeiramente, técnicas de controle de taxa e ajuste de fluxo de dados são propostos nos níveis de quadros e unidades básicas, objetivando melhor precisão na saíta do bitstream do codificado enquanto entregando uma determinada qualidade visual, ao considerar as restrições impostas pelo sistema de transmissão. Técnicas preditivas no nível de quadros associadas com um algoritmo de região de interesses no nível de unidades básicas gerando aprendizagem por reforço no modelo de controle geral apresentam significativa redução na variação da taxa de bits. O modelo proposto não excede 1% de variação nos dados de saída. Ademais, a qualidade visual sofre uma perda máxima de 1,5%. Segundo, um gerenciador de threads associado a um balanceador de carga de trabalho e controle de potência para processamento de vídeos de múltiplas vistas em plataformas de múltiplos núcleos. Esta técnica aplicada a um sistema de 32 núcleos atinge até 51% de economia no consumo de energia com uma degradação visual na qualidade do vídeo de até 2% se comparada ao software de referência.