DigiPrint

Augmented Reality Anwendung mittels Bilderkennung und innovativem Farbbarcode

Zielstellung des Projektes

Die Zielsetzung des Projektes besteht in der Entwicklung datenbezogener Dienstleistungen zur Anreicherung von Printmedien mit digitalen Zusatzinformationen und interaktiven Informationsangeboten. Die digitalen Zusatzinformationen werden mittels eines handelsüblichen Smartphones am Printmedium de- codiert und überlagern als „Augmented Reality“ (AR) die Printinformationen. Dies ermöglicht Interaktionen in Echtzeit. Die AR-App stellt mittels Bilderkennung CBIR oder durch die Decodierung eines neuartigen Farb- barcodes (Megacode), die digitalen Zusatzinformationen als Datei zur Verfügung.

Um eine größere Informationsdichte zu erreichen wird ein neuartiger Farbbarcode genutzt. Durch die Integration von Bildererkennungsalgorithmen und Decodierungskomponenten für den neuartigen Barcode in einer Applikation können die Vorteile beider Verfahren erstmals vollumfänglich zusammen genutzt werden.

Projektergebnisse

Im ersten Teil des Projekts wurde die Bilderkennungskomponente durch den Bereich BVIA entwickelt. Dabei kommt die FAISS-Bibliothek (entwickelt durch Facebook AI Research) zur Erkennung der Bilder zum Einsatz. Außerdem wurde eine Datenbank angelegt, die alle zur Bilderkennung genutzten Bilder und alle codierten Medieninhalte speichert. Als Anwendungsbeispiel wurde der in der GFaI entwickelte Kranbahnmesswagen ausgewählt, der bei Erkennung durch die AR-App durch Konstruktionszeichnungen angereichert werden soll.

Außerdem wurde durch den Bereich SDM die Codierung des Megacodes entwickelt (Bild) und erste Versuche zur Decodierung erfolgreich absolviert. Die Codierung geschieht im RGB-Farbraum in allen drei Farbkanälen, sodass eine besonders hohe Informationsdichte erreicht werden kann. Die Decodierung läuft bereits in einer Android-App. Im nächsten Schritt sollen die Algorithmen zur Bilderkennung und die AR-Darstellung mit in die App integriert werden.