Schon zu Projektbeginn hat sich gezeigt, dass sich die Vorstellungen zu den Use Cases im Themenstream Remote Support stark überschneiden. Darum wurde ein genereller Use Case zu diesem Thema entwickelt und die Aufwände gebündelt. Die folgende Auflistung zeigt die teilnehmenden Firmen im Themenstream Remote Support und die erarbeiteten Spezifikationen:

Besonderheiten und Herausforderungen

Geodata - Besonderheiten und Herausforderungen

Snapshots für Dokumentation, Offline-Feature bei Verbindungsabbruch, widrigste Bedingungen (Tunnelbau), Anbindung an Knowledge Base  

IFE Doors - Besonderheiten und Herausforderungen

Rollen mit variablen Feature-Set, Barcode-Scan am Türensystem, Step-by-Step Unterstützung bei Wartungsarbeiten, Möglichkeit zur 1:n Verbindung 

Kremsmüller - Besonderheiten und Herausforderungen

Teilen von Expertenwissen, Abarbeiten von Checklisten, Robustheit auf Baustellen, widrigste Bedingungen (Helmpflicht, Handschuhe etc.) 

Test-Fuchs - Besonderheiten und Herausforderungen

Support befragt weitere Experten (1:n), Erkennen von Komponenten am Gerät, Anzeige aktueller Messwerte, Shape-based Tracking wünschenswert 

Ziel war es Mixed Reality im Bereich des Remote Support einzusetzen.

Basierend auf den Spezifikationen wurden folgende Punkte realisiert: 

• Schaffung der technischen Basis für „Remote Support“ Applikationen: A/V Übertragung, Integration in die Core Architektur 

• Prototypische Implementierung der „Universellen Anchor Point“ Funktion für Mixed Reality Anwendungen 

• Implementierung eines Prototyps für Android und iOS Smartphones und Tablets, sowie MS HoloLens und Realwear HMT-1

• Firmenspezifische Anpassungen des Prototyps für Test-Fuchs, Geodata, Kremsmüller und IFE Doors: Chat Funktion, Galerieansicht gespeicherter Ansichten, permanente und temporäre Annotationen, Auswahl der Projektionsebene usw.

• Recherche und Wissensvermittlung zum Thema Datenkonvertierung und Datenreduktion 

Für die A/V-Kommunikation zwischen zwei (oder mehreren) Gesprächspartnern wird der offene Standard „WebRTC“ verwendet. Um die Mixed Reality Funktionalität auf möglichst vielen Endgeräten zu gewährleisten, wurde in der aktuellen Version „ARFoundation“ integriert. ARFoundation fasst weit verbreitete Algorithmen zur Feature Point Detection zusammen und ermöglich in Kombination mit Unity3D die Entwicklung für Endgeräte auf Android und iOS Basis. Allgemeine Features, die auch bei Use Cases in anderen Themenstreams Anwendung finden, wurden in den Core übernommen.

Die vorliegende Version des Prototyps erlaubt den Aufbau einer A/V-Verbindung mit einem Gesprächspartner und das Setzen verankerter digitaler Annotationen im realen Raum (Linien und Symbole). Eine aufrechte (und stabile) Datenverbindung muss dabei gegeben sein. Im Falle einer schlechten Verbindungsqualität besteht die Möglichkeit Bildrate und Qualität zu reduzieren oder den Live-Stream gänzlich zu unterbrechen. In dem Fall können immer noch einzelne Fotos an den Gesprächspartner versandt werden, die wiederum von der Gegenseite annotiert zurückgeschickt werden. So kann zumindest rudimentär Support bei schlechter Datenverbindung erfolgen. Eine weitere Herausforderung stellen äußere Einflüsse dar: In den vorliegenden Use Cases sind wir mit widrigen Bedingungen konfrontiert (Wetter, Schmutz, Lärm, Schutzhelmpflicht, Handschuhe etc.), die die Bedienung aktueller Geräte maßgeblich erschweren werden.

Durch mehrfachen Test unterschiedlicher Prototypversionen durch die Partnerfirmen wurde die Industrietauglichkeit evaluiert und verbesserungspotentiale identifizieret. In mehrere Feedback-Schleifen mit den Partnerfirmen wurde der Funktionsumfang entsprechend und UI/UX verbessert. Ein eigener WebRTC Server an der FHOÖ zur Verwaltung der Kommunikation zwischen den Geräten wurde einrichtet. Der Sourcecode wurde für die Weiterentwicklung in den Unternehmen und für die Open Source Community dokumentiert und bereinigt. Zusätzlich wurde ein umfangreiches schriftliches Handbuch des Funktionsumfang und der Codebasis erstellt um die Weiterentwicklung zu erleichtern. Eine Videodokumentation erklärt zusätzlich die wichtigsten Erkenntnisse.

Unterstützte Hardware:

Neben Smartphone und Tablet wurden eigene Versionen der Applikation für Smartglasses entwickelt:

MS HoloLens: Die Anwendung wurde ebenfalls als Unity-Projekt aufgebaut und verwendet die selbe teschnische Basis (WebRTC) zur Verbindung und Übertragung. Damit ist es möglich, mit der Hololens eine Verbindung zu einem Experten mit einem Desktop-Client aufzubauen. Das Kamerabild von der Hololens wird zum Experten übertragen und eine Audioverbindung besteht in beide Richtungen. Beide Teilnehmer können Annotationen zeichnen, die gezeichneten Punkte/Linien sind für beide Teilnehmer sichtbar: Der Hololens-Nutzer zeichnet dabei mit Handgesten im Raum. Der Desktop-Nutzer kann das Video zum Zeichnen pausieren.

RealWear HMT-1: Das bestehende Remotesupport Projekt wurde für die HMT-1 angepasst. Die Anwendung wird über Sprachbefehle gesteuert und die Verbindung ist (aufgrund der beschränkten Eingabemöglichkeiten) nur mit vordefinierten Kontakten in einer zuvor definierten Kontaktliste möglich. Weil die Smartglass die für Android verwendete AR-API (ARCore bzw. ARFoundation) nicht unterstützt, sind die Features der Anwendung beschränkt: Der Experte kann über den Desktop-Client Screenshots aufnehmen und annotieren und die annotierten Bilder zum HMT-1 Nutzer zurückschicken.

Hier finden Sie ein Video zur Projektumsetzung.

Das Gesamtprojekt "Mixed Reality Based Collaboration 4 Industry" entstand aus der Zusammenarbeit von 22 Unternehmen und fünf wissenschaftliche Institutionen aus Niederösterreich, Wien und Oberösterreich (FH St. Pölten, FH Oberösterreich Standort Steyr, FOTEC, IMC FH Krems und TU Wien).