AICube
Partnerschaft von Constructor University (Projektleitung), TU Berlin und rasdaman GmbH
Mehrwert aus Big Earth Data durch Kombination von KI und föderierten Datenwürfel
Datenwürfel bieten eine natürliche, analyse-orientierte Sicht auf raumzeitliche Daten, welche zudem sehr gut skaliert. KI wiederum verbessert das Verständnis von EO-Daten mit neuen Methoden. Interessanterweise basieren beide Techniken auf denselben mathematischen Grundlagen, nämlich Tensor-Algebra.
Im Projekt AI-Cube wurde untersucht, wie sich Datenwürfel und KI-basierte Analytik vorteilhaft kombinieren lassen. Das Projektteam bestand aus einer Partnerschaft von Constructor (ehemals Jacobs) University (Projektleitung), TU Berlin und rasdaman GmbH.
AI-Datacubes (source: rasdaman)
In AI-Cube sollen Datenwürfel-Fusion und KI-basierte Analytik integriert, in realitätsbezogenen Anwendungsszenarien demonstriert sowie auf einer Föderation aus EO-LAB, DIASen und weiteren großvolumigen EO/Geo-Datenangeboten installiert werden.Dies soll eine deutlich bessere Skalierbarkeit und eine verbesserte Suche ermöglichen, zum Beispiel für die Analyse von land- und forstwirtschaftlichen Produkten und die Klimaüberwachung.
Das Team der TU Berlin hat ein ML-gestütztes Frage-Antwort-System eingebracht, welches Fragen in natürlicher Sprache beantworten kann. Diese können sich auf den semantischen Inhalt der Satellitenbilder beziehen, etwa "Wie viele verschiedene Getreidesorten kommen in diesem Sentinel-2 Multispektralbild vor". Die Basis der Arbeiten bildete der BigEarthNet-Datensatz der TU Berlin, der über 500.000 annotierte Sentinel-1- und -2 Szenen enthält.
Vor Kurzem hat die TU Berlin ConfigILM veröffentlicht, eine pytorch-basierte Bibliothek zur konfigurierbaren Kombination von vortrainierten Bild- und Sprachmodellen. Weitere Informationen finden Sie hier.
Constructor University und das DeepTech-KMU rasdaman GmbH haben die Erweiterbarkeit der rasdaman Datacube Engine genutzt, um ML-Auswertungen einzubinden. Analyse-Anfragen können beliebige Modelle aufrufen und auf Gebiet anwenden, welche der Nutzer vorgibt. Bei den Modellen der TU Berlin gibt der Nutzer zusätzlich eine natürlichsprachliche Frage mit.
Intern ruft der Datenwürfel-Server über seine python-Schnittstelle das pytorch-Werkzeug auf, welches Modell und Anfrage auf die übergebenen Bilddaten anwendet und das Resultat zurückliefert. Somit ergibt sich eine nahtlose Integration von ML und klassischer Analyse zusammen mit den weiteren rasdaman-Features wie GreenCube, cloud-native Parallelisierung, ortstransparente Föderation und pixelgenauer Zugriffsschutz.
ML-based classification (source: TU Berlin)
Alle Ergebnisse wurden auf EO-LAB experimentell validiert. Die prototypische Integration hat im Labor und auf realitätsbezogenen Anwendungsszenarien vielversprechende Ergebnisse gezeigt. Für die Zukunft ist der Einsatz auf DIASen und weiteren großvolumigenEO/Geo-Datenangeboten vorgesehen. Dies soll eine deutlich bessere Skalierbarkeit und eine verbesserte Suche ermöglichen, zum Beispiel für die Analyse von land- und forstwirtschaftlichen Produkten und die Klimaüberwachung. Gleichzeitig läßt sich der Zugriffsschutz so einstellen, daß die Modelle zwar genutzt, jedoch nicht abgegriffen werden können.
