Spectator View – Ein Fenster mit Blick in die Augmented Reality

Anwendungen im Bereich Virtual Reality und Augmented Reality bieten einzigartige Möglichkeiten das Sichtfeld des Nutzers mit zusätzlichen dreidimensionalen Inhalten zu erweitern. Durch das räumliche Tracking von Mobil-Geräte und Datenbrillen mithilfe von mehreren integrierten Sensoren, können in der Umgebung des Benutzers computergenerierte 3D-Inhalte eingeblendet und im Raum verankert werden. Die AR-Brille HoloLens 2 verwendet dafür Infrarotkameras und Lagesensoren, um die Position und Ausrichtung jederzeit bestimmen zu können und die Anzeige der Displays entsprechend anzupassen.

Quelle: © Microsoft

Auf diese Weise lassen sich 3D-Modelle aus beliebigen Perspektiven betrachten und es entsteht der Eindruck, dass sich diese Elemente wie ein Hologramm direkt in der Umgebung des Benutzers befinden. Dieser visuelle Effekt ist zwar für den Träger der Brille sehr beeindruckend, kann aber von anderen Personen in der Umgebung ohne Brille nicht beobachtet werden. Bei Präsentationen und Vorführungen von AR-Anwendungen mit mehreren Zuschauern ist es ein wichtiger Aspekt, alle Anwesenden an der Erfahrung teilhaben zu lassen und einen ersten Eindruck der erweiterten Sicht zu vermitteln.

Ein gemeinsamer Blick auf die erweiterte Realität

Das Teilen der AR-Ansicht kann auf unterschiedliche Arten realisiert werden. Um ein größeres Publikum einzubinden, bietet es sich an die Sicht des HoloLens-Trägers auf einen zusätzlichen Monitor zu übertragen. Um dies zu erreichen, gibt es verschiedene Möglichkeiten, die je nach Einsatzszenario unterschiedlich gut geeignet sind. Die HoloLens besitzt neben den Kameras für die Positionsermittlung im Raum noch eine weitere Kamera, die Videoaufnahmen aus der Perspektive des Trägers aufnehmen kann. In diese Aufnahmen lassen sich die 3D-Darstellungen, die normalerweise nur beim Blick durch das Brillen-Display sichtbar werden, ebenfalls einblenden. Diese Ansicht kann per Wireless-Display-Verbindung oder durch Netzwerk-Streaming auf den zusätzlichen Monitor übertragen werden. Mit diesem Verfahren können mehrere Zuschauer einen Eindruck davon bekommen, was man beim Blick durch die HoloLens sieht.

Bei der von meaPuna entwickelten AR-Anwendung REWEIV steht noch eine weitere Möglichkeit für die Vorführung der Funktionen zur Verfügung. Die Software bietet eine Servicepattform für Remote-Support durch Live-Video und ermöglicht das Anzeigen von Dokumenten als Augmented-Reality-Objekte. Damit können mit der HoloLens z.B. Bedienungsanleitungen, Fotos, Videos oder Schritt-für Schritt-Anleitungen direkt im Arbeitsumfeld des Benutzers angezeigt werden. Diese Ansicht lässt sich mit einer speziell für die Software entwickelten Funktion für Videotelefonie im Produktiveinsatz an einen entfernten Experten übertragen. Dieser bekommt mithilfe des im Web-Browser angezeigten Videobilds genau angezeigt, was der Träger der HoloLens durch die Brille betrachtet. Im Gespräch kann der Experte so Hinweise zu den Arbeitsschritten geben oder auch Hilfestellung bei Problemfällen leisten, indem er virtuelle Markierungen direkt ins Sichtfeld des HoloLens-Trägers platziert. Diese Videoübertragung kann auch bei der Vorstellung der Software und den möglichen Einsatzszenarien genutzt werden, um die übertragenen Bilder für ein größeres Publikum anzuzeigen.

Während dieses Vorgehend für die produktive Nutzung und Präsentationen mit einfachem Setup sehr gut geeignet ist, bringt es für detaillierte Vorstellungen der Software und Produktvideos ein paar Nachteile mit sich. Die gezeigte Ansicht ist stets auf den Blickwinkel des Benutzers beschränkt und zeigt die Umgebung nur aus der POV-Perspektive. Der Träger der HoloLens ist nie gleichzeitig mit den eingeblendete 3D-Modellen und Benutzeroberflächen zu sehen. Das macht es schwierig, einen Eindruck der intuitiven Interaktionen, wie z.B. das Berührung von virtuellen Buttons, zu vermitteln. Da sich das Funktionsprinzip bei der gemeinsamen Betrachtung von Benutzer und AR-Elementen einfacher verstehen lässt, werden deshalb oft Präsentationsvideos mit nachträglich hinzugefügten Videoeffekten verwendet.

Eine neue Perspektive auf die AR-Umgebung

Bei der REWEIV HoloLens-App ist die räumliche Darstellung der eingeblendeten Elemente ein wichtiger Bestandteil der User Experience. Sowohl das Menü, als auch die Steuerungsmöglichkeiten der Anwendung, sind auf die dreidimensionale Umgebung ausgelegt. Dokumente lassen sich frei im Umfeld des Benutzers platzieren und auf die gewünschte Position und Größe anpassen. Die Anwendung wurde speziell dafür entwickelt, die neuen Möglichkeiten der räumlichen Interaktion zu nutzen und verwendet deshalb kein klassisches 2D-User-Interface, wie es normalerweise bei Programmen auf einem Monitor zum Einsatz kommt. So wird zum Beispiel die Übersicht der verfügbaren Dokumente in einer drehbaren Karussell-Ansicht um den Nutzer platziert.

In einem Video, das nur die Nutzerperspektive zeigt, ist der dreidimensionale Eindruck schwer zu vermitteln. Während es natürlich am eindrucksvollsten ist, die HoloLens-Erfahrung selbst auszuprobieren, lässt sich der Effekt auch gut in einem Video aus der Third-Person-Perspektive transportieren. Auf diese Weise können der Benutzer und die virtuellen 3D-Darstellungen im Zusammenspiel gezeigt werden.

Das Ziel bei der Umsetzung war es, die dreidimensionalen Darstellungen nicht nur zu simulieren und per Nachbearbeitung in Videoaufnahmen zu integrieren, sondern eine flexible Lösung für die Präsentation der AR-Anwendung zu bekommen. Deshalb wurde ein Verfahren in die REWEIV-Software integriert, das als „Spectator View“ bezeichnet wird und von Microsoft in einer ähnlichen Form mit professionellen Studio-Kameras bei Präsentationen eingesetzt wird.

Spectator View – Eine neue Bewegungsfreiheit für den Beobachter

Die Aufnahmetechnik „Spectator View“ erfordert ein zusätzliches Gerät, das zur Betrachtung der AR-Szene eingesetzt werden kann. Außerdem wird eine Erweiterung der Anwendung benötigt, um die zusätzliche Datenübertragung zu ermöglichen. Bei der Umsetzung für die REWEIV-Software wurde ein Android Smartphone verwendet, das AR-Funktionen zur Positionsermittlung des Geräts unterstütz. Bei Android wird diese Funktionalität ARCore genannt und ist in vielen aktuellen Geräten verfügbar. Die „Spectator View“ kann aber auch mit Apple Geräten umgesetzt werden. Dort wird die vergleichbare Technologie zum räumlichen Tracking ARKit genannt.

Das Smartphone kann, nach erfolgreicher Implementierung des Verfahrens, das Umfeld der HoloLens zusammen mit den eingeblendeten AR-Elementen aus einem eigenen Blickwinkel aufnehmen. Die Software muss dazu so angepasst werden, dass sie mit den gleichen Inhalten gleichzeitig auf der HoloLens und dem Smartphone laufen kann. Außerdem wird eine lokale Netzwerkverbindung benötigt, über die beide Geräte miteinander kommunizieren können.

Der erste Schritt bei der Verwendung der Anwendung besteht aus dem Synchronisieren der Koordinatensysteme der beiden Geräte. Dafür wird auf dem Smartphone-Display ein QR-Code angezeigt. Dieser kann mit der HoloLens gescannt werden, um die Position des Geräts im 3D-Raum zu bestimmen. Damit teilen sich die Anwendungen auf den beiden Geräten einen gemeinsamen Bezugspunkt und können anschließend jeweils die passenden Positionen der virtuellen Objekte berechnen. Selbst wenn sich beide Geräte bewegen, können die AR-Elemente auf jedem Gerät aus dem richtigen Blickwinkel angezeigt werden.

Damit die beiden Anwendungen auf der HoloLens und auf dem Mobiltelefon die gleichen Inhalte aus der jeweiligen Perspektive anzeigen können, müssen alle Veränderungen über die Netzwerkverbindung übertragen werden. Die HoloLens sendet dazu ständig die benötigen Informationen für die Änderungen an das Mobilgerät. Dort wird die Sicht auf die virtuellen Elemente dann entsprechend angepasst. Das Handy kann sich zum Beispiel auf einem Stativ befinden und die Szene aus einer seitlichen Ansicht aufnehmen. Um eine ruhige Kameraführung zu ermöglichen, empfiehlt sich die Verwendung eins Stativs zur Befestigung. Alternativ kann auch eine Gimbal-Halterung zur Stabilisierung des Mobiltelefons verwendet werden. Die Spectator View ermöglicht mit diesem Setup eine Erweiterung der Bewegungsfreiheit, da die AR-Inhalte selbst bei der Aufnahme mit einer sich bewegenden Kamera richtig dargestellt werden.

Das Bild des Mobiltelefons kann während der Verwendung der Spectator View aufgezeichnet werden oder es lässt sich bei einer Live-Vorführung auf einen größeren Bildschirm übertragen. Mit diesem Verfahren lassen sich AR-Anwendungen für die HoloLens so erweitern, dass die virtuellen Inhalte aus einer eigenen Perspektive mithilfe eines Smartphones beobachtet werden können. Auf diese Weise kann eine sehr nützliche Ergänzung von AR-Anwendungen erreicht werden, um die Funktionen der App gleichzeitig mehreren Zuschauern vorzustellen. Die Spectator View bietet dabei ein Fenster, das einen Blick in die erweiterte Realität der AR-Welt ermöglicht.

Sie möchten Ihre HoloLens Anwendungen auch für andere sichtbar machen? Gerne unterstützen wir Sie bei der Umsetzung einer Spectator View Ansicht für Ihre Anwendung.