High-Throughput Dedicated Hardware Design Targeting the 3D-HEVC-Prediction Coding Tools

Abstract

The popularization of multimedia services has pushed forward the development of 2D/3D (Two and Three Dimensional) video-capable embedded mobile devices. In this scenario, 3D-video systems based on the simultaneous exhibition of multiple views are also expected, including systems capable of dealing with high and ultra-high resolutions. To meet this demand and the huge amount of data to be processed and stored, an extension for the HEVC (High Efficiency Video Coding) standard targeting three-dimensional video coding was developed by the ISO/IEC (International Organization for Standardization / International Electrotechnical Commission) and ITU-T (International Telecommunication Union – Telecommunication) experts. The HEVC is state-of-the-art for 2D video coding, and its 3D extension is called 3D-HEVC. The 3D-HEVC uses the MVD (Multi-view plus Depth) concept which associates a depth-map with each texture frame for each view that composes the video sequence. Because of that, 3D-HEVC defines several novel coding tools to make possible the 3D-video processing with multiple views with increasing resolutions under this novel perspective. As a result, the 3D-HEVC extension requires a high computational effort. Since 2D/3D video-capable embedded mobile devices require efficient energy/memory-management strategies to deal with severe memory/processing requirements and limited energy supply, the development of energy and memory-aware systems targeting the 3D-HEVC is essential. This thesis brings contributions for high-throughput and low-power architectures targeting the 3D-HEVC. These contributions are mainly centered on four designed architectures, as follows: (i) a low-power and high-throughput hardware design for the DIS (Depth Intra Skip) coding tool; (ii) a low-power and memory-aware depth-map Intra-frame prediction system based on complexity-reduction strategies; (iii) a ME/DE (Motion and Disparity Estimation) system that was designed for low-energy consumption, featuring a run-time adaptive memory hierarchy; (iv) a low-power and coding-efficient disparity estimation architecture based on the proposed iUDS (Improved Unidirectional Disparity-Search) algorithm. The contributions of these architectures to the state-of-the-art are confirmed by the publications made so far in high-quality conferences/journals.

A popularização de serviços multimídia tem alavancado o desenvolvimento de dispositivos portáteis capazes de lidar com vídeos 2D/3D. Nesse cenário, sistemas de vídeo 3D baseados na exibição simultânea de múltiplas vistas também são esperados, incluindo sistemas capazes de lidar com altas e ultra-altas resoluções. Para atender essa demanda e a grande quantidade de dados que precisa ser processada e armazenada, uma extensão do padrão HEVC (High Efficiency Video Coding) visando à codificação de vídeos 3D foi desenvolvida por especialistas da ISO/IEC (International Organization for Standardization / International Electrotechnical Commission) e da ITU-T (International Telecommunication Union – Telecommunication). O HEVC é o estado da arte para codificação de vídeos 2D e sua extensão para 3D é chamada 3D-HEVC. O 3D-HEVC usa o conceito MVD (Multi-view plus Depth) em que um mapa de profundidade é associado a cada quadro de textura para cada vista que compõem a sequência de vídeo. Devido a isso, o 3D-HEVC define diversas novas ferramentas de codificação para tornar possível o processamento de vídeos 3D com múltiplas vistas com resoluções crescentes sob essa nova perspectiva. Como um resultado, a extensão 3D-HEVC requer um elevado esforço computacional. Uma vez que dispositivos móveis embarcados capazes de lidar com vídeos 2D/3D requerem estratégias eficientes para gerenciamento de memória/energia e para lidar com os severos requisitos de processamento/memória e fornecimento limitado de energia, o desenvolvimento de sistemas voltados para eficiência em energia e memória visando o 3D-HEVC é essencial. Esta tese traz contribuições para arquiteturas com alta taxa de processamento e baixa dissipação de potência visando o 3D-HEVC. Estas contribuições estão principalmente centradas em quatro arquiteturas, como segue: (i) um projeto de hardware com baixa dissipação de potência e alta taxa de processamento para a ferramenta de codificação DIS (Depth Intra Skip); (ii) um sistema para predição Intra-frame de mapas de profundidade com baixa dissipação de potência e voltado para eficiência em memória baseado em estratégias de redução de complexidade; (iii) um sistema para a ME/DE (Motion/Disparity Estimation) projetado para baixo consumo de energia, apresentando uma hierarquia de memória adaptável em tempo real; (iv) uma arquitetura para estimação de disparidade com baixa dissipação de potência e eficiência em codificação baseada no algoritmo proposto iUDS (Improved Unidirectional Disparity-Search). As contribuições destas arquiteturas para o estado da arte são confirmadas pelas publicações feitas até o momento em conferências e revistas qualificadas.