A quality metric for comparing inbetweening algorithms

Abstract

Inbetweening is the process of generating a new video frame whose visual content rep resents a moment in time that lies between two existing frames. This can be used, for example, to increase the framerate of a video or hand-drawn animation. Since many algorithms exist for generating inbetween frames, methods to compare results of different algorithms are needed. Benchmarks created from video sequences can be used to compare algorithm results to the actual middle frame, however this approach has two main limita tions: (i) if the ground-truth middle frame does not exist, the method has no reference with which to compare the generated frame; (ii) even if the ground-truth middle frame exists (extracted from a video or drawn by a human animator, for example), it does not necessarily represent the only viable inbetween frame (i.e., many different inbetween frames may match the movement of the input video). To address these limitations, we propose the Feature Matching Inbetweening Score (FMIS) metric, which rates an inbetween frame based on features present in the input frames (before and after the generated inbetween frame). Variations of this scoring system are also discussed, taking factors like image blurriness and distance between matched points in consideration. The objective of the score is to provide an evaluation of inbetween frame quality similar to the analysis of a human observer. We perform a small user study which provides evidence that our FMIS metric aligns well with human perception.

Inbetweening é o processo de geração de um novo quadro de vídeo, cujo conteúdo visual representa um momento temporal que fica entre dois quadros existentes. Isso pode ser usado, por exemplo, para aumentar a taxa de quadros de um vídeo ou animação feitas a mão. Já que múltiplos algoritmos de geração de quadros intermediários existem, métodos para comparar seus resultados são necessários. Métricas de teste criadas a partir de sequências de vídeo podem ser usadas para comparar resultados de algoritmos com o quadro intermediário real, porém, essa abordagem possui duas limitações principais. (i) se não existir um quadro intermediário real, não há referência para comparar o quadro gerado; (ii) mesmo que o quadro exista (extraído de um vídeo ou desenhado por um animador humano, por exemplo), isto não representa necessariamente o único quadro intermediário viável (i.e., muitos quadros intermediários diferentes podem corresponder ao movimento do vídeo de entrada). Para lidar com essas limitações, nós popomos a métrica Feature Matching Inbetweening Score (FMIS), que avalia um quadro intermediário com base nas propriedades presentes nos quadros de entrada (antes e depois do quadro intermediário gerado). Variações deste sistema de pontuação também são abordadas, levando fatores como nitidez e distância entre regiões características em consideração. O objetivo da pontuação é fornecer uma avaliação da qualidade do quadro intermediário que seja similar à análise de um observador humano. Nós conduzimos um pequeno estudo de usuário que fornece evidências de que nossa métrica FMIS se alinha bem com a percepção humana.