MiwaMix – Middleware zwischen Messtechnik und Mixed Reality
Messdaten direkt im räumlichen Anwendungskontex
Klassische Messsoftware liefert präzise Daten und Ergebnisse. Mixed-Reality-Brillen eröffnen die Möglichkeit, Messinformationen direkt am Messobjekt anzuzeigen und den räumlichen Zusammenhang zwischen Messung, Sensorik und Ergebnis herzustellen.
MiwaMix entwickelt eine Middleware, die bestehende Mess- und Analysesoftware aus dem Bereich Noise, Vibration and Harshness (NVH) mit Mixed-Reality-Brillen verbindet. Dadurch können vorhandene Anwendungen mit überschaubarem Aufwand um räumliche Visualisierungen und Interaktionen erweitert werden. Eine vollständig neue Anwendung für jedes einzelne Brillenmodell soll dadurch vermieden werden.
Die Darstellung von Sensordaten direkt am Messobjekt dient dabei als konkreter Demonstrator. An diesem Beispiel wird erprobt, wie bestehende Messinformationen in einer Mixed-Reality-Umgebung genutzt und im räumlichen Anwendungskontext dargestellt werden können.
Ziel ist eine standardisierte Schnittstelle für typische Funktionen, Datentypen und Datenformate unterschiedlicher Messprogramme.
Die Herausforderung
Messaufgaben verbinden Sensoren, Messgeräte, Messsoftware und fachliche Bewertung. Informationen müssen verständlich, schnell und möglichst im direkten Bezug zum Messobjekt verfügbar sein.
Bestehende Messsoftware und moderne MR-Hardware verfügen jedoch über unterschiedliche Schnittstellen, Datenmodelle und Bedienkonzepte.
MiwaMix adressiert diese Lücke mit einer vermittelnden Software-Schicht.
Forschungsansatz
Middleware als standardisierte Vermittlungsschicht
Die Middleware kapselt komplexe Funktionen der MR-Brille und stellt der Messsoftware eine abstrahierte Schnittstelle zur Verfügung. Die Middleware kapselt komplexe und gerätespezifische Funktionen der Mixed-Reality-Brille und stellt der bestehenden Messsoftware eine abstrahierte, standardisierte Schnittstelle zur Verfügung. Dadurch sollen Anwendungen aus dem NVH-Bereich mit vergleichsweise geringem Aufwand für unterschiedliche MR-Brillen nutzbar gemacht werden können.
MR-Hardware und Frameworks
Meta Quest 3 und HTC Vive XR Elite wurden wegen Auflösung, Sichtfeld, Preis-Leistungs-Verhältnis und OpenXR-Unterstützung ausgewählt und getestet. Für die Entwicklung wird Unity eingesetzt; die SenPosi-Anwendung wird von MRTK 2.0 auf MRTK 3.0 portiert.
- Gestensteuerung und virtuelle Eingabeelemente
- Eye-Tracking als mögliche Interaktionsform
- Streaming und Darstellung von Messdaten
- räumliche Zuordnung am Messobjekt
- Bedienung virtueller Menüs und Werkzeuge
Experimentelle Testumgebung
NoiseImage, eine Akustische Kamera, drei Schwingungsaufnehmer und ein Datenrekorder bilden die Testumgebung. Geplant ist die Anzeige von Messdaten als virtuelles Videofenster über dem Sensor.
Warum MiwaMix?
MiwaMix schafft die technische Verbindung zwischen vorhandener Messtechnik, klassischer Messsoftware und moderner MR-Hardware.
- Messdaten werden direkt im räumlichen Anwendungskontext sichtbar.
- Eine standardisierte Schnittstelle erleichtert die Anbindung unterschiedlicher Messprogramme.
- MR-spezifische Interaktionen erweitern Bedienung und Analyse.
- Verfügbare Hardware kann Mixed Reality auch für KMU zugänglicher machen.
Nutzen für Mess- und Prüfanwendungen
Die Middleware soll Mess- und Analyseergebnisse dort verfügbar machen, wo sie benötigt werden: am Messobjekt, am Sensor oder im direkten Sichtfeld der anwendenden Person. Die Einblendung von Sensordaten am Messobjekt ist dabei ein beispielhafter Anwendungsfall für die Nutzung bestehender Messsoftware in einer Mixed-Reality-Umgebung.
Dadurch können sich insbesondere folgende Vorteile ergeben:
- bessere Zuordnung von Messdaten und Messposition
- weniger Wechsel zwischen Messobjekt und separatem Bildschirm
- flexible Darstellung von Videofenstern, Menüs und Werkzeugen
- intuitive Interaktion über MR-spezifische Eingabemethoden
- wiederverwendbare Schnittstellen zwischen Messprogrammen und MR-Anwendungen
Die Lösung unterstützt Fachanwender und erweitert vorhandene Messsoftware sinnvoll.
Zielgruppen
MiwaMix richtet sich an Organisationen, die Mess- und Prüfdaten erfassen, auswerten oder im Arbeitsprozess nutzen.
- ■Forschungseinrichtungen
- ■Industrieunternehmen
- ■Entwickler von MR-Anwendungen
- ■Mess- und Prüflabore
- ■Anbieter von Messsoftware
- ■KMU mit spezialisierten Messaufgaben
Praxis- und Industriebezug
Die Entwicklung knüpft an Erfahrungen aus SenPosi und an vorhandene Mess- und Analysesoftware der GFaI an. Die Middleware wird an realistischen Messaufgaben und bestehenden Arbeitsabläufen erprobt.
Im Mittelpunkt stehen Anwendungsfelder mit:
- Akustik und Schwingungsanalyse
- Zustandsüberwachung und technische Prüfung
- räumlich zuordenbare Messdaten
- mobile oder schwer zugängliche Messobjekte
- individuelle Mess- und Analyseworkflows
Die experimentelle Testumgebung schafft die Grundlage für weitere Versuche nach Fertigstellung des Software-Prototyps.
„MiwaMix soll Messdaten und Ergebnisse dort sichtbar machen, wo sie gebraucht werden: direkt am Messobjekt und im räumlichen Zusammenhang der Messung.“
Alexander Jahnke, Wissenschaftlicher Mitarbeiter Projektteam MiwaMix
GFaI e.V.
Projektpartner
GFaI e.V.
Die GFaI entwickelt im Projekt die Middleware, untersucht geeignete Hardware und Frameworks und baut die experimentelle Testumgebung auf.