3D Interaction Techniques in Multi-User Virtual Reality : towards scalable templates and implementation patterns for cooperative interfaces

  • Multi-user projection systems provide a coherent 3D interaction space for multiple co-located users that facilitates mutual awareness, full-body interaction, and the coordination of activities. The users perceive the shared scene from their respective viewpoints and can directly interact with the 3D content. This thesis reports on novel interaction patterns for collaborative 3D interaction forMulti-user projection systems provide a coherent 3D interaction space for multiple co-located users that facilitates mutual awareness, full-body interaction, and the coordination of activities. The users perceive the shared scene from their respective viewpoints and can directly interact with the 3D content. This thesis reports on novel interaction patterns for collaborative 3D interaction for local and distributed user groups based on such multi-user projection environments. A particular focus of our developments lies in the provision of multiple independent interaction territories in our workspaces and their tight integration into collaborative workflows. The motivation for such multi-focus workspaces is grounded in research on social cooperation patterns, specifically in the requirement for supporting phases of loose and tight collaboration and the emergence of dedicated orking territories for private usage and public exchange. We realized independent interaction territories in the form of handheld virtual viewing windows and multiple co-located hardware displays in a joint workspace. They provide independent views of a shared virtual environment and serve as access points for the exploration and manipulation of the 3D content. Their tight integration into our workspace supports fluent transitions between individual work and joint user engagement. The different affordances of various displays in an exemplary workspace consisting of a large 3D wall, a 3D tabletop, and handheld virtual viewing windows, promote different usage scenarios, for instance for views from an egocentric perspective, miniature scene representations, close-up views, or storage and transfer areas. This work shows that this versatile workspace can make the cooperation of multiple people in joint tasks more effective, e.g. by parallelizing activities, distributing subtasks, and providing mutual support. In order to create, manage, and share virtual viewing windows, this thesis presents the interaction technique of Photoportals, a tangible interface based on the metaphor of digital photography. They serve as configurable viewing territories and enable the individual examination of scene details as well as the immediate sharing of the prepared views. Photoportals are specifically designed to complement other interface facets and provide extended functionality for scene navigation, object manipulation, and for the creation of temporal recordings of activities in the virtual scene. A further objective of this work is the realization of a coherent interaction space for direct 3D input across the independent interaction territories in multi-display setups. This requires the simultaneous consideration of user input in several potential interaction windows as well as configurable disambiguation schemes for the implicit selection of distinct interaction contexts. We generalized the required implementation structures into a high-level software pattern and demonstrated its versatility by means of various multi-context 3D interaction tools. Additionally, this work tackles specific problems related to group navigation in multiuser projection systems. Joint navigation of a collocated group of users can lead to unintentional collisions when passing narrow scene sections. In this context, we suggest various solutions that prevent individual collisions during group navigation and discuss their effect on the perceived integrity of the travel group and the 3D scene. For collaboration scenarios involving distributed user groups, we furthermore explored different configurations for joint and individual travel. Last but not least, this thesis provides detailed information and implementation templates for the realization of the proposed interaction techniques and collaborative workspaces in scenegraph-based VR systems. These contributions to the abstraction of specific interaction patterns, such as group navigation and multi-window interaction, facilitate their reuse in other virtual reality systems and their adaptation to further collaborative scenarios.show moreshow less
  • Stereoskopische Mehrbenutzer-Projektionssysteme ermöglichen die perspektivisch korrekte Darstellung einer 3D-Szene für mehrere Nutzer. Dadurch erschaffen sie einen kohärenten Interaktionsraum, welcher sowohl die direkte Interaktion mit den 3D-Inhalten als auch die gegenseitige Wahrnehmung von Aktivitäten einzelner Personen und deren Koordination unterstützt. Diese Arbeit berichtet überStereoskopische Mehrbenutzer-Projektionssysteme ermöglichen die perspektivisch korrekte Darstellung einer 3D-Szene für mehrere Nutzer. Dadurch erschaffen sie einen kohärenten Interaktionsraum, welcher sowohl die direkte Interaktion mit den 3D-Inhalten als auch die gegenseitige Wahrnehmung von Aktivitäten einzelner Personen und deren Koordination unterstützt. Diese Arbeit berichtet über neuartige Interaktionstechniken für kollaborative 3D Arbeitsplätze für lokale und verteilte Benutzergruppen auf der Basis solcher Mehrbenutzer-Projektionsdisplays. Ein besonderer Schwerpunkt unserer Entwicklungen liegt in der Bereitstellung mehrerer unabhängiger Interaktionsterritorien in einem gemeinsamen Arbeitsraum und deren enger Integration in kollaborative Arbeitsprozesse. Wissenschaftliche Untersuchungen über soziale Kooperationsmuster haben gezeigt, dass kollaborative Arbeitsprozesse sowohl auf Phasen enger Zusammenarbeit als auch auf individuellen Aktivitäten beruhen. Damit einhergehend findet üblicherweise eine räumliche Aufteilung in gemeinschaftlich oder privat genutzte Arbeitsbereiche statt. In unseren kollaborativen Arbeitsumgebungen haben wir solche unabhängigen, flexibel nutzbaren Interaktionsterritorien zum einen durch mobile virtuelle Interaktionsfenster und zum anderen durch mehrere festinstallierte Mehrbenutzerdisplays (3D-Projektionswand und 3D-Projektionstisch) realisiert. Jedes dieser Interaktionsfenster ermöglicht unabhängige Ansichten auf die virtuelle Szene, welche für die Exploration und Manipulation der 3D-Inhalte genutzt werden können. Durch ihre Einbindung in eine zusammenhängende Arbeitsumgebung unterstützen sie fließende Übergänge zwischen individueller und gemeinschaftlicher Arbeit. Die unterschiedlichen Charakteristika der integrierten Displays begünstigen unterschiedliche Anwendungsszenarien. Szenenansichten in Originalgröße können z.B. auf der großen 3D-Projektionswand ideal dargestellt werden, während der 3D Tisch sich eher für Miniaturansichten auf die Szene eignet. Die portablen virtuellen Interaktionsfenster können auf vielfältige Weise genutzt werden, z.B. für Detailansichten, als Bildergalerie und zum Austausch von Perspektiven zwischen den beiden festinstallierten Displays. Im Rahmen diese Arbeit wird gezeigt, dass diese vielseitigen Interaktionsterritorien kollaborative Arbeitsprozesse durch Parallelisierung von Aktivitäten, Aufteilung von Teilaufgaben und Möglichkeiten zur gegenseitigen Unterstützung effektiver gestalten können. Als neuartige Benutzungsschnittstelle für virtuelle Interaktionsfenster stellen wir die Interaktionstechnik der „Fotoportale“ vor. Diese beruht auf den Bedienungsmustern digitaler Fotoapparate und ermöglicht die unkomplizierte Erstellung, Bearbeitung und Weitergabe von separaten Szenenansichten. Fotoportale sind speziell dazu entworfen, alternative Schnittstellen zu anderen Interaktionsaspekten anzubieten. In diesem Kontext bieten sie erweiterte Funktionalitäten zur Szenennavigation, Objektmanipulation und zur Aufzeichnung zeitlicher Abläufe in der virtuellen Szene an. Ein weiteres Ziel dieser Arbeit ist die Realisierung eines kohärenten Interaktionsraums für direkte 3D-Interaktion, der sich über mehrere separate Interaktionsfenster hinweg erstreckt. Dies erfordert die gleichzeitige Berücksichtigung von Benutzereingaben in mehreren Interaktionsfenstern sowie konfigurierbare Auswahlschemata zur impliziten Disambiguierung dieser Interaktionskontexte. Wir haben die dafür erforderlichen Mechanismen verallgemeinert und in ein Software-Pattern überführt. Die Vielseitigkeit dieser Abstraktion wird anhand unterschiedlicher 3D-Interaktionswerkzeuge demonstriert. Darüber hinaus befasst sich diese Arbeit mit spezifischen Problemen im Zusammenhang mit der Gruppennavigation in Mehrbenutzer-Projektionssystemen. Die gemeinschaftliche Navigation der vor der 3D-Projektionswand verteilten Nutzer kann bei der Passage beengter Szenenabschnitte zu unbeabsichtigten Kollisionen führen. In diesem Kontext schlagen wir verschiedene Lösungen vor, die individuelle Kollisionen einzelner Nutzer mit Hindernissen während des Navigationsprozesses verhindern. Die Auswirkungen dieser Lösungsansätze auf die wahrgenommene Integrität der Nutzergruppe beziehungsweise die der 3D Welt werden hierbei ausführlich diskutiert. Für Kollaborationsszenarien mit sich an verschiedenen Orten befindenden Nutzergruppen stellen wir außerdem eine Reihe von Optionen für gemeinsame und unabhängige Navigation vor, die kontinuierlich Informationen zur aktuellen Position der jeweils anderen Gruppe zur Verfügung stellen. Nicht zuletzt liefert diese Arbeit detaillierte Informationen und Implementierungsmuster für die Realisierung der vorgeschlagenen Interaktionstechniken und der kollaborativen Arbeitsräume in Szenengraph-basierten VR Systemen. Diese Beiträge zur Abstraktion spezifischer Interaktionsmuster, wie z.B. Gruppennavigation und Mehrfensterinteraktion, können als Vorlage für deren Reimplementierung in anderen VR-Systemen beziehungsweise für ihre Anpassung auf weitere kollaborative Szenarien dienen.show moreshow less

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Document Type:Doctoral Thesis
Author:Dr. rer. nat. André KunertGND
DOI (Cite-Link):https://doi.org/10.25643/bauhaus-universitaet.4296Cite-Link
URN (Cite-Link):https://nbn-resolving.org/urn:nbn:de:gbv:wim2-20201204-42962Cite-Link
Referee:Prof. Dr. Bernd FröhlichGND, Prof. Dr. Frank SteinickeGND
Advisor:Prof. Dr. Bernd FröhlichGND
Language:English
Date of Publication (online):2020/12/04
Date of first Publication:2020/12/04
Date of final exam:2020/11/19
Release Date:2020/12/04
Publishing Institution:Bauhaus-Universität Weimar
Granting Institution:Bauhaus-Universität Weimar, Fakultät Medien
Institutes and partner institutions:Fakultät Medien / Professur Medieninformatik
Pagenumber:147
Tag:3D Interaction Techniques; Human-Computer Interaction; Multi-User Virtual Reality
GND Keyword:Virtuelle Realität; Mensch-Maschine-Kommunikation
Dewey Decimal Classification:000 Informatik, Informationswissenschaft, allgemeine Werke / 000 Informatik, Wissen, Systeme / 004 Datenverarbeitung; Informatik
BKL-Classification:54 Informatik
Licence (German):License Logo Creative Commons 4.0 - Namensnennung-Keine kommerzielle Nutzung-Weitergabe unter gleichen Bedingungen (CC BY-NC-SA 4.0)