Refine
Document Type
- Doctoral Thesis (5) (remove)
Institute
Keywords
- Mensch-Maschine-Kommunikation (5) (remove)
Die Verbreitung mobiler Smartphones und besonders deren allgegenwärtige Lokalisierungstechnologien verändern das Navigationsverhalten im Raum nachhaltig. Parallel zur schnell voranschreitenden Entwicklung alltäglicher Geräte, die mitgeführt werden, setzt der Übergang der bereits länger dauernden Entwicklung von Virtual-Reality-Technik in eine erweiterte und augmentierte Mixed Reality ein. In diesem Spannungsfeld untersucht die vorliegende Arbeit, inwieweit richtungsgebundene und binaural wiedergegebene Stereofonie die menschliche Bewegung im Raum beeinflussen kann und versucht zu erörtern, welche Potenziale in der Wiederentdeckung einer relativ lange bekannten Technik liegen. Der Autor hat im Rahmen dieser Arbeit eine binaurale mobile Applikation für richtungsgebundene Stereofonie entwickelt, mit der virtuelle bewegte oder statische Audio-Hotspots im Raum platziert werden können. So kann links, rechts oder 30 Meter vor einer Person ein virtueller oder tatsächlicher Klang im Raum verortet sein. Durch die in Echtzeit berechnete binaurale Wiedergabe der Klangquellen mit einem Stereo-Kopfhörer können diese räumlich verorteten Klänge mit zwei Ohren dreidimensional wahrgenommen werden, ähnlich dem räumlichen Sehen mit zwei Augen. Durch den Einsatz mehrerer lokalisierter Klangquellen als Soundscape entsteht eine augmentierte auditive Realität, die die physische Realität erweitert. Die Position und Navigation des Nutzers wird durch binaurale Lautstärkenmodulation (die Lautstärke nimmt bei abnehmender Distanz zur Quelle zu) und Stereopanning mit Laufzeitmodulation (die Richtung wird über ein Stereosignal auf beiden Ohren räumlich links-rechts-vorne verortet) interaktiv und kybernetisch beeinflusst. Die Nutzer navigieren — durch ihr Interesse an den hörbaren virtuellen Klangquellen geleitet — durch einen dynamisch erzeugten, dreidimensionalen akustischen Raum, der gleichzeitig ein virtueller und kybernetischer Raum ist, da die Repräsentation der Klänge an die Bewegung und Ausrichtung der Nutzer im Raum angepasst wird. Diese Arbeit untersucht, ob die Bewegung von Menschen durch (virtuelle) Klänge beeinflusst werden kann und wie groß oder messbar dieser Einfluss ist. Dabei können nicht alle künstlerischen, architektonischen und philosophischen Fragen im Rahmen der vorliegenden Schrift erörtert werden, obwohl sie dennoch als raumtheoretische Fragestellung von Interesse sind. Hauptgegenstand der vorliegenden Arbeit liegt in der Erforschung, ob richtungsgebundene Stereofonie einen relevanten Beitrag zur menschlichen Navigation, hauptsächlich zu Fuß, in urbanen Gebieten — vorwiegend im Außenraum — leisten kann. Der erste Teil gliedert sich in »Raum und Klang«, es werden raumtheoretische Überlegungen zur menschlichen Bewegung im Raum, Raumvorstellungen, räumliche Klänge und Klangwahrnehmung sowie die Entwicklung stereofoner Apparaturen und Aspekte der Augmented Audio Reality besprochen. Im zweiten Teil werden drei Demonstratoren als Anwendungsszenarien und drei Evaluierungen im Außenraum vorgestellt. Die Tests untersuchen, ob sich das Verfahren zur Navigation für Fußgänger eignet und inwieweit eine Einflussnahme auf das Bewegungsverhalten von Nutzern getroffen werden kann. Die Auswertungen der Tests zeigen, dass sich stereofone Klänge grundsätzlich als Navigationssystem eignen, da eine große Mehrzahl der Teilnehmer die akustisch markierten Ziele leicht gefunden hat. Ebenso zeigt sich ein klarer Einfluss auf die Bewegungsmuster, allerdings ist dieser abhängig von individuellen Interessen und Vorlieben. Abschließend werden die Ergebnisse der Untersuchungen im Kontext der vorgestellten Theorien diskutiert und die Potenziale stereofoner Anwendungen in einem Ausblick behandelt. Bei der Gestaltung, Erzeugung und Anwendung mobiler Systeme sind unterschiedliche mentale und räumliche Modelle und Vorstellungen der Entwickler und Anwender zu beachten. Da eine umfassende transdisziplinäre Betrachtung klare Begrifflichkeiten erfordert, werden Argumente für ein raumtheoretisches Vokabular diskutiert. Diese sind für einen gestalterischen Einsatz von richtungsgebundener Stereofonie — besonders im Kontext mobiler Navigation durch akustisch augmentierte Räume — äußerst relevant.
Multi-user projection systems provide a coherent 3D interaction space for multiple co-located users that facilitates mutual awareness, full-body interaction, and the coordination of activities. The users perceive the shared scene from their respective viewpoints and can directly interact with the 3D content.
This thesis reports on novel interaction patterns for collaborative 3D interaction for local and distributed user groups based on such multi-user projection environments. A particular focus of our developments lies in the provision of multiple independent interaction territories in our workspaces and their tight integration into collaborative workflows. The motivation for such multi-focus workspaces is grounded in research on social cooperation patterns, specifically in the requirement for supporting phases of loose and tight collaboration and the emergence of dedicated orking territories for private usage and public exchange. We realized independent interaction territories in the form of handheld virtual viewing windows and multiple co-located hardware displays in a joint workspace. They provide independent views of a shared virtual environment and serve as access points for the exploration and manipulation of the 3D content. Their tight integration into our workspace supports fluent transitions between individual work and joint user engagement. The different affordances of various displays in an exemplary workspace consisting of a large 3D wall, a 3D tabletop, and handheld virtual viewing windows, promote different usage scenarios, for instance for views from an egocentric perspective, miniature scene representations, close-up views, or storage and transfer areas. This work shows that this versatile workspace can make the cooperation of multiple people in joint tasks more effective, e.g. by parallelizing activities, distributing subtasks, and providing mutual support.
In order to create, manage, and share virtual viewing windows, this thesis presents the interaction technique of Photoportals, a tangible interface based on the metaphor of digital photography. They serve as configurable viewing territories and enable the individual examination of scene details as well as the immediate sharing of the prepared views. Photoportals are specifically designed to complement other interface facets and provide extended functionality for scene navigation, object manipulation, and for the creation of temporal recordings of activities in the virtual scene.
A further objective of this work is the realization of a coherent interaction space for direct 3D input across the independent interaction territories in multi-display setups. This requires the simultaneous consideration of user input in several potential interaction windows as well as configurable disambiguation schemes for the implicit selection of distinct interaction contexts. We generalized the required implementation structures into a high-level software pattern and demonstrated its versatility by means of various multi-context 3D interaction tools.
Additionally, this work tackles specific problems related to group navigation in multiuser projection systems. Joint navigation of a collocated group of users can lead to unintentional collisions when passing narrow scene sections. In this context, we suggest various solutions that prevent individual collisions during group navigation and discuss their effect on the perceived integrity of the travel group and the 3D scene. For collaboration scenarios involving distributed user groups, we furthermore explored different configurations for joint and individual travel.
Last but not least, this thesis provides detailed information and implementation templates for the realization of the proposed interaction techniques and collaborative workspaces in scenegraph-based VR systems. These contributions to the abstraction of specific interaction patterns, such as group navigation and multi-window interaction, facilitate their reuse in other virtual reality systems and their adaptation to further collaborative scenarios.
This cumulative dissertation discusses - by the example of four subsequent publications - the various layers of a tangible interaction framework, which has been developed in conjunction with an electronic musical instrument with a tabletop tangible user interface. Based on the experiences that have been collected during the design and implementation of that particular musical application, this research mainly concentrates on the definition of a general-purpose abstraction model for the encapsulation of physical interface components that are commonly employed in the context of an interactive surface environment. Along with a detailed description of the underlying abstraction model, this dissertation also describes an actual implementation in the form of a detailed protocol syntax, which constitutes the common element of a distributed architecture for the construction of surface-based tangible user interfaces. The initial implementation of the presented abstraction model within an actual application toolkit is comprised of the TUIO protocol and the related computer-vision based object and multi-touch tracking software reacTIVision, along with its principal application within the Reactable synthesizer. The dissertation concludes with an evaluation and extension of the initial TUIO model, by presenting TUIO2 - a next generation abstraction model designed for a more comprehensive range of tangible interaction platforms and related application scenarios.
Modern immersive telepresence systems enable people at different locations to meet in virtual environments using realistic three-dimensional representations of their bodies. For the realization of such a three-dimensional version of a video conferencing system, each user is continuously recorded in 3D. These 3D recordings are exchanged over the network between remote sites. At each site, the remote recordings of the users, referred to as 3D video avatars, are seamlessly integrated into a shared virtual scenery and displayed in stereoscopic 3D for each user from his or her perspective.
This thesis reports on algorithmic and technical contributions to modern immersive telepresence systems and presents the design, implementation and evaluation of the first immersive group-to-group telepresence system in which each user is represented as realistic life-size 3D video avatar. The system enabled two remote user groups to meet and collaborate in a consistent shared virtual environment. The system relied on novel methods for the precise calibration and registration of color- and depth- sensors (RGBD) into the coordinate system of the application as well as an advanced distributed processing pipeline that reconstructs realistic 3D video avatars in real-time. During the course of this thesis, the calibration of 3D capturing systems was greatly improved. While the first development focused on precisely calibrating individual RGBD-sensors, the second stage presents a new method for calibrating and registering multiple color and depth sensors at a very high precision throughout a large 3D capturing volume. This method was further refined by a novel automatic optimization process that significantly speeds up the manual operation and yields similarly high accuracy. A core benefit of the new calibration method is its high runtime efficiency by directly mapping from raw depth sensor measurements into an application coordinate system and to the coordinates of its associated color sensor. As a result, the calibration method is an efficient solution in terms of precision and applicability in virtual reality and immersive telepresence applications. In addition to the core contributions, the results of two case studies which address 3D reconstruction and data streaming lead to the final conclusion of this thesis and to directions of future work in the rapidly advancing field of immersive telepresence research.