MultiFu3D

Multisensor-Fusion für akustische 3D-Kartierung

Zielstellung des Projektes

Inhalt des Projektes war die Entwicklung und Anwendung eines neuartigen, besonders leichtgewichtigen und preiswerten MEMS-Mikrofon-Arraysystems mit integriertem 3D-Scanner, HD-Kamera und ggf. mit weiteren Zusatzsensoren wie z. B. Lage- und Beschleunigungssensoren. Für dieses integrierte Arraysystem waren im Vorhaben speziell angepasste Auswertemethoden und neue, echtzeitfähige Algorithmen zur Multi- Sensor-Fusion akustischer und optischer Daten und zum 3D-Scanning zu entwickeln.

Die spezifische technologische Innovation der neuen Lösung besteht darin, dass hier weltweit erstmalig ein mobiles Komplettsystem realisiert werden konnte, welches die Komponenten MEMS-Mikrofon-Array, digitaler Datenrekorder, autarke Stromversorgung, Low- Cost-3D-Scanner, Zusatzsensoren und mobile Auswerteeinheit in einem einzigen, leichtgewichtigen und damit handführbaren Gerät zur mobilen 3D-Schallquellenortung vereint.

3D-Scan eines Saubsaugers
Beispiel einer 3D-Kartierung eines Staubsaugers. Graue Punkte markieren die Trajektorie des 3D-Scans, blaue Punkte die Trajektorie während der Akustikmessung. Auch während der Array-Messung werden die Bahn- und Modelldaten weiterhin aktualisiert und verbessert.

Projektergebnisse

Der Anwendernutzen für das im Vorhaben entwickelte Mobilsystem zeigt sich insbesondere in all den Fällen, in denen kein 3D-CAD-Modell eines akustisch zu kartierenden Messobjektes verfügbar ist und in denen ein klassischer 3D-Scan unter Verwendung stationärer terrestrischer Laserscanner oder externer handgeführter kommerzieller Scanner zu zeit- und kostenaufwändig bzw. zu umständlich ist.

Unter Nutzung sehr moderner, algorithmischer Ansätze aus der Robotik (SLAM – simultaneous localization and mapping) und auf Basis moderner und preiswerter Tiefenbildkameras (Intel Real-SenseTM-Technologie) konnte das Projektziel erfolgreich realisiert werden.

Schwerpunkt der Entwicklungen im Jahr 2020 waren dabei Arbeiten zur weiteren Verbesserung der Robustheit der aufgezeichneten Arraytrajektorien sowie zur stabilen Behandlung von in der Praxis stets auftreten- den Scan-Abrissen.

Das neue Verfahren arbeitet zweistufig, im ersten Schritt wird das Objekt handgeführt gescannt und in einem zweiten, unmittelbar anschließbaren Schritt erfolgt die akustische 3D-Kartierung auf das gerade erstellte Modell, wobei die Scanner-Daten dabei laufend zur weiteren Verbesserung des 3D-Modelles verwendet werden.