Collaborative 3D interactions and their application on virtual, augmented and mixed reality interfaces

Abstract

Spatial object manipulation is one of the most common tasks in 3D environments. It is the action of changing position, rotation and scale properties of virtual elements. The intangibility of the virtual requires the use of 3D user interfaces for robust interactions. Manipulations in 3D involve complex coordination of virtual transformations and demand a highly cognitive and physical effort. One alternative towards efficient 3D manipulations is to share the work to solve the task collaboratively. A collaborative environment provides more than one individual perspectives of the scene, which may also include shared and personal viewpoints. However, teamwork involves considerable negotiations and, as team members vary, team strategies and task-fulfillment processes also change. Modeling such human interactions raises novel concepts and interface design approaches when compared to those typically grounded in a single-user scenario. Our goal is to investigate collaboration in group work, identify the aspects of effective cooperative interactions and design 3D user interactions that enhance the team capability to solve complex manipulation tasks in virtual environments. We explore the use of handheld devices and virtual reality apparatus as input devices in our designs. Smartphones are ubiquitous in modern life which makes them useful for collaboration, and virtual reality headsets are becoming the standard for immersive virtual reality. First, we designed an interaction model to support simultaneous 3D manipulations in virtual and augmented reality scenarios and evaluated group performance and behavior in symmetric collaboration, where the team has the same interaction and visualization interface. After, we investigate asymmetric group interactions, integrating our symmetric collaborative solutions. This research contributes to the definition of a model for the design of collaborative 3D user interfaces flexible to work in multiple immersion scenarios. Furthermore, we present a series of studies that investigate the application of collaborative 3D interactions on Virtual, Augmented and Mixed Reality scenarios.

A manipulação espacial de objetos é uma das tarefas mais comuns em ambientes 3D. É a ação de alterar as propriedades de posição, rotação e escala dos elementos virtuais. A intangibilidade do virtual requer o uso de interfaces de usuário 3D para interações robustas. Manipulações em 3D envolvem a coordenação complexa de transformações virtuais e exigem um alto esforço cognitivo e físico. Uma alternativa para manipulações 3D eficientes é compartilhar o trabalho para resolver a tarefa de forma colaborativa. Um ambiente colaborativo fornece uma perspectiva individual da cena, que também pode incluir pontos de vista compartilhados e pessoais. No entanto, o trabalho em equipe envolve negociações consideráveis e, à medida que os membros da equipe variam, as estratégias de equipe e os processos de realização de tarefas também mudam. A modelagem de tais interações humanas gera novos conceitos e abordagens de design de interface quando comparados àqueles normalmente baseados em um cenário de um único usuário. Nosso objetivo é investigar a colaboração no trabalho em grupo, identificar os aspectos de interações cooperativas efetivas e projetar interações de usuários 3D que aprimorem a capacidade da equipe de resolver tarefas complexas de manipulação em ambientes virtuais. Exploramos o uso de dispositivos portáteis e aparelhos de realidade virtual como interfaces de entrada em nossos projetos. Os smartphones são onipresentes na vida moderna, o que os torna úteis para a colaboração, e os capacetes de realidade virtual estão se tornando o padrão para a realidade virtual imersiva. Primeiro, projetamos um modelo de interação para suportar manipulações 3D simultâneas em cenários de realidade virtual e aumentada e avaliamos o desempenho e o comportamento do grupo em colaboração simétrica, em que a equipe tem a mesma interação e interface de visualização. Depois, investigamos interações assimétricas em grupos, integrando nossas soluções colaborativas simétricas. Esta pesquisa contribui para a definição de um modelo para o design de interfaces de usuário 3D colaborativas, flexível para trabalhar em múltiplos cenários de imersão. Além disso, apresentamos o uma série de estudos que investigam a aplicação de interações 3D colaborativas em cenários de Realidade Virtual, Aumentada e Mista.