Das erste Quartal des Jahres stand mit gleich drei Projekten im Zeichen der Hololens. Nach den ersten Tests und Gehversuchen in Unity, mussten zuerst die wesentlichen Interaktionen und Konzepte von AR erarbeitet werden.
Microsoft erklärt im DevForum die grundsätzliche Theorie der Bausteine wie Gaze, Airtap, Voice, Drag & Place Objects, Sharing und Spatial Mapping erst einmal ganz allgemein. Im Anschluss versuchte ich die Komponenten in Unity mit dem Hololens Toolkit ans Laufen zu bringen.
Alles lernt sich besser wenn man im Rahmen eines Auftrags oder Projekts Ei . konkretes Ziel verfolgt. Die Idee es „learning by earning“ lässt mich dabei weniger von der Funktionsweise her denken, sondern hilft die sinnvolle Anwendung im Blick zu behalten und gleichzeitig alle auftretenden technischen Probleme zu lösen.
In diesem Fall war vom Kunden eine AR Demo gewünscht. Als Idee entwickelte ich eine Art Auto Diagnosesystem in deren Mittelpunkt das verkleinerte Modell eines Wagens steht und dessen Daten exemplarisch vom Autobesitzer abgerufen und visualisiert werden. Die Darstellung in Originalgröße wäre in diesem Fall nicht zielführend, da der Bildausschnitt der Hololens immer nur einen kleinen Ausschnitt des Wagens zeigt und zu viel Information verloren gehen würde.
Beim Start der Anwendung, kann das Modell im Raum platziert werden. Anschließend fährt der Wagen auf einem quadratischen Stück Landstraße im Loop. Über Voice-Commands können nun ein Menü und zusätzliche Informationen eingeblendet werden.
Der Wagen kann zudem gedreht und in Baugruppen wie Fahrwerk, Exterior oder Interieur zerlegt werden.
Im Menü gibt es die Live Daten zur Ansicht der letzten gefahrenen Strecken und Verbrauchswerten, besondere Verschleißteile und Infos zum anstehenden Werkstatt-Termin.
Mit diesem Projekt waren die wesentlichen User-Interaktionen umgesetzt und es konnte einen Schritt weiter gehen.
Für eine weitere Kundenpräsentation wurden drei zusätzliche Hololens-Devices angeschafft. Um diese sinnvoll zu nutzen, lag der Entschluss, eine Shared Experience zu erstellen, nah.
Diesmal sollte ein Motorblock als Model im Fokus stehen und über alle Hololenses im Raum in Position, Rotation und Zustand geteilt werden.
Damit die Brillen miteinander reden können, benötigt man ein Netzwerk und einen Serverdienst im Hintergrund. Es existieren zwar Demos und Tutorials, diese sind allerdings schon ziemlich alt und laufen nicht mit den aktuellen Unity Hololens Toolkits, dennoch war dies ein guter Start um das Verhalten und das Konzept hinter der Sharing Funktion zu verstehen.
In der finalen Anwendung könnte ein beliebiger Teilnehmer den Spacial Anchor setzen und somit die Position des Motors für alle anderen festlegen. Per Airtap und Double Airtap konnte der Motor gestartet und gestoppt und der Motorblock transparent gemacht werden.
Zudem.konnten unterschiedliche Tuningvarianten per Voice-Commands eingestellt und mit allen Teilnehmern über das Netzwerk geteilt werden. Die Airtap und Voice-Commands kann jeder Teilnehmer nutzen um geimsam zu interagieren.
Das dritte Demo war gut geeignet um die Leistung der Hololens zu testen. Da die gesamte Technik in die Brille integriert ist und keine Kabelverbindung zum PC besteht, ist die Rechenleistung mit einem sehr guten Mobile Device vergleichbar.
Modelle mit bis zu 100.000 Polygonen sind bei entsprechender Optimierung und einer überschaubaren Anzahl an Materialien machbar. Zudem wurden mehrere Videoscreens integriert, die gleichzeitig im View des User liefen.
Dies führte nur beim gleichzeitigen Einsatz von Partikel-Effekten zu leichten Störungen im Sound, wenn alles gleichzeitig laufen sollte.
Die Idee des Demos was das Auftauchen des Delorean aus „Zurück in die Zukunft“. Mit einem Knall und Rauch kommt der Wagen durch ein Partikel Portal. Im Anschluss starten die Videos und kann kann per Drag den Wagen in seine Einzelteile zerlegen und mir Voice-Command zum Schweben bringen.
Ist das Demo zu Ende, hebt der Wagen endgültig ab, holt Anlauf und verschwindet mit den bekannten Flammenspuren in einem weiteren Partikel Portal.
Es gibt noch viel zu tun, aber die ersten Produktionen zeigten schon Recht deutlich welche Möglichkeiten und vor allem Unterschiede im Kontrast zu reinen VR Anwendungen in der AR Technik stecken.
Es zeigt sich auch, dass vieles nicht am Reißbrett konzipiert werden kann, sonders neue Ansätze nur durch Ausprobieren und Prototypen Entwicklung entstehen.
Für mich entsteht der Eindruck, dass sich AR Anwendungen tendenziell für ernsthafte Anwendungen anbieten und der Entertainment Aspekt nur für Spielkonzepte genutzt werden sollte, die unbedingt die Raumgeometrie in das Spiel einbeziehen. Zudem hinkt die Technik, in Bezug auf den Sichtbereichs und der Performance, den Ansprüchen der Gaming Community noch hinter. Doch ich bin mir sicher, dass sich dies mit der nächsten Generation von AR Devices schnell ändern wird.