Projekt NeurOSmart

Smarter Lidar-Sensor mit neuromorpher Datenverarbeitung

15. November 2022, 16:04 Uhr | Kathrin Veigel

Im Projekt NeurOSmart forschen fünf Fraunhofer-Institute an einem energieeffizienten und intelligenten Sensor für die nächste Generation autonom agierender Systeme. Nach knapp einem Jahr Projektlaufzeit präsentieren die Forscher auf der electronica in Halle B4, Stand 258 das neue Sensorsystem.

Aktuell geht der Trend für komplexe anspruchsvolle Anwendungen, wie etwa dem autonomen Fahren, zu mobilen Supercomputern mit einem erheblich steigenden Energieverbrauch. Besonders bei mobilen Systemen führt dies zu verkürzen Einsatzdauern oder Reichweiten und stößt laut aktuellen Prognosen in den nächsten Jahrzehnten gar an die Grenzen der weltweiten Energieerzeugung.

Um dieser Eskalation entgegenzuwirken, setzen die im Projekt NeurOSmart beteiligten Forscher der Fraunhofer-Institute ISIT, IPMS, IMS, IWU, IAIS auf eine dezentrale Intelligenz, die auf den jeweiligen Sensor maßgeschneidert wird und neue Ansätze der energieeffizienten Datenverarbeitung.

Der Grundgedanke des Vorhabens liegt darin, die Datenverarbeitung soweit es geht, direkt in den Sensor zu integrieren und durch aufeinander abgestimmte Komponenten möglichst energieeffizient zu werden.

Leistungsfähiger Lidar-Sensor

Das erstrebte Resultat ist ein Entfernungssensor (Lidar), der in einem Sichtfeld von 90° x 90° bei Arbeitsabständen bis zu 12 Metern, Objekte auf Basis individueller Pixel erkennt und klassifiziert. All dies in Echtzeit mit Bildwiederholraten von über 20 Hz und bei einem Energieverbrauch von ein paar 10 W. Damit kann dieses System als Sicherheitssystem für die Kollaboration zwischen Menschen und Industrierobotern und zukünftig auch für mobile Anwendungen genutzt werden kann.

Ermöglicht wird diese Leistungsfähigkeit durch eine Vielzahl an Innovationen im Bereich der Datenverarbeitung und Sensorik, die in diesem Vorhaben kombiniert werden.

Besonders hervorheben möchten die Forscher die Rohdatenaufbereitung und -vorverarbeitung, die über die Verbindung des RISC-V-Manycore-Clusters AIRISC-N mit dem embedded AI Framework AIfES eine integrierte Lösung für die energieeffiziente Berechnung von KI-Algorithmen auf eingebetteter Hardware in Echtzeit bietet. Auf diese Weise reduziert sich die Menge der zu interpretierenden Daten um einen Faktor von 10 und ermöglichen es, auch nur Teile der Szene zu beobachten (Region of Interest), was den Energieverbrauch erneut senkt und die Reaktionszeit erhöht.

Fraunhofer-Technologien kostenfrei erhältlich

Vorteil: die Fraunhofer-Technologien des AIRISC Core und AI Framework AIfES sind kostenlos über GitHub erhältlich und können seit Kurzem auch problemlos als vorkonfiguriertes System im Intel-Pathfinder-Shop heruntergeladen und in eigene Designs integriert werden. Neben Anwendungen der Bildverarbeitung (Lidar, Wärmebild, Visible) werden unter anderem auch Zeitreihen-Analysen (Akustische Überwachung, Medizintechnik) und KI-basierte Prädiktionen (Predictive Maintenance, Ausfallvorhersage) mittels vorkonfigurierter Erweiterungen unterstützt.

Die weiterführende Dateninterpretation wird auf einem neuartigen Mixed-Signal-In-Memory-Beschleuniger umgesetzt, der mit einer erwarteten Energieeffizienz von mehr als 1.000 TOPS/W heutige Alternativen um mindestens zwei Größenordnungen übertrifft. Das Herz des Beschleunigers sind sogenannte ferroelektrische Feldeffekttransistoren (FeFETs), die gleichermaßen Informationen speichern und verarbeiten können (In-Memory Compute). Auf diese Weise wird der energieaufwendige Engpass in der Kommunikation zwischen Speicher und Rechenkern aufgelöst und aufwändige KI-Verfahren können auch in mobilen Endgeräten realisiert werden.

Unterstrichen werden die Vorteile des neuen Ansatzes durch die parallele Entwicklung besonders kleiner und effizienter Modelle für die Objekterkennung und -klassifizierung. Sie sind speziell auf den Sensor, auf neue Möglichkeiten der direkt integrierten Elektronik und auf ihre Anwendungen angepasst. Das Resultat ist eine schnelle Reaktionszeit, erhöhter Datenschutz und erhebliche Energieeinsparung gegenüber dem aktuellen Trend von praxisfernen oder cloudbasierten Lösungen, die bevorzugt auf immer größere, energieintensivere Modelle zurückgreifen.