The landscape of XR evaluation : tertiary review and visualizations

Abstract

Extended reality (XR) applications - encompassing Virtual Reality, Augmented Reality, and Mixed Reality - are finding their way into multiple domains at an accelerating pace. Each area has different motivations for employing XR and various criteria for evaluating XR. Surveys from several fields described XR applications and how they are evaluated in that field. However, there is not always a clear definition of what XR is for each par ticular area, and when there is, it might differ substantially from the other areas. This lack of consensus on a definition makes it hard to compare XR research efforts across areas and learn from them. Through a tertiary systematic literature review, We surveyed 81 surveys published from several fields to form a comprehensive summary of the cur rent state of XR research that deals with the evaluation of XR applications. Our survey is founded on understanding (i) how is XR defined? (ii) why is XR employed? (iii) how is XR evaluated? (iv) what are the main criticisms and future research paths outlined by the surveys? (v) how good are the surveys? We present our findings through visualizations of the "evaluation landscape" in XR and describe the state of XR research in each of the ten categories we cataloged. We identify gaps in the definition of XR, as well as limitations in the current effectiveness-based research. We propose that future research in XR should build upon a solid taxonomy to depart from effectiveness research and into efficiency re search - to understand not only textitif but also how XR achieves the desired outcomes.

Aplicações de realidade estendida (XR) - abrangendo Realidade Virtual, Realidade Au mentada e Realidade Mista - estão encontrando seu caminho em vários domínios em um ritmo acelerado. Cada domínio de aplicação tem diferentes motivações para empregar XR e vários critérios para avaliar XR. Diversas surveys em diferentes áreas descrevem aplica ções de XR e como elas são avaliadas. No entanto, nem sempre há uma definição clara do que é XR para cada área específica e, quando há, pode diferir substancialmente daquela usada em outras áreas. Essa falta de consenso sobre uma definição torna difícil comparar os esforços de pesquisa em XR entre as áreas e aprender com eles. Por meio de uma revisão sistemática terciária da literatura, analisamos 81 artigos ti[po survey publicados em vários domínios de aplicação para construir um resumo abrangente do estado atual da pesquisa em XR que envolve avaliação de aplicações de XR. Nossa pesquisa é baseada no entendimento de (i) como XR é definida? (ii) por que XR é empregada? (iii) como XR é avaliada? (iv) quais as principais críticas e caminhos de pesquisas futuras delineados pelos artigos estudados? (v) quão boas são as surveys? Apresentamos nossos resultados por meio de visualizações do "panorama de avaliação"em XR e descrevemos o estado da pesquisa de XR em cada uma das dez categorias que catalogamos. Identificamos lacunas na definição de XR, bem como limitações na pesquisa atual relacionada com a eficácia de XR. Propomos que a pesquisa futura sobre XR deve ser realizada sobre uma taxonomia sólida partindo da pesquisa sobre eficácia em direção à eficiência - para entender não só se mas também como XR atinge os resultados desejados.