FH Bielefeld und Uni Bielefeld

Audiovisuelles Assistenzsystem für die Industrie

12. Juli 2022, 17:14 Uhr | Andreas Knoll

Das Assistenzsystem AVIKOM soll künftig Mitarbeiter in Montage- und Logistikprozessen unterstützen, etwa mit Hologrammen in einer Augmented-Reality-Brille oder individuellen Sprachhinweisen. Entwickelt wurde das System in einem gemeinsamen Forschungsprojekt der FH Bielefeld und der Uni Bielefeld.

Wer kennt das nicht? Man hat ein Regal gekauft und will es zu Hause sofort aufbauen. Doch das ist nicht so einfach wie gedacht. Die Bauanleitung ist umständlich formuliert, überall liegen Schrauben herum. Der Blick schweift zwischen der komplizierten Zeichnung, den Regalbrettern und den Dübeln hin und her, und man wünscht sich, man hätte drei Hände zur Verfügung.

Vor einem ähnlichen Problem stehen viele Mitarbeiter in der Montage- und Logistikindustrie. Abhilfe könnte hier ein kognitives, seh- und hörbares Assistenzsystem schaffen, das Forscherinnen und Forscher der Fachhochschule (FH) Bielefeld und der Universität Bielefeld gemeinsam in dem Forschungsprojekt AVIKOM entwickeln. Über eine Datenbrille mit intelligenten Kopfhörern und Mikrofon erhalten die Mitarbeiter individuell und vorausschauend Unterstützung. Ob akustisch, visuell oder beides – das lässt sich je nach Bedarf einstellen. Das Assistenzsystem sorgt so dafür, dass beide Hände frei sind. Es denkt mit, leitet motivierend an und macht die Beschäftigten dennoch nicht abhängig von dem System.

Beschäftigte individuell und aufgabenbezogen unterstützen

»In modernen Montage- und Logistikprozessen werden bis heute wichtige Arbeiten von Hand erledigt«, sagt Prof. Dr. Joachim Waßmuth, Professor für elektrotechnische Gebiete der Mechatronik an der FH Bielefeld. »Außerdem werden immer mehr individuell angepasste Produkte in Auftrag gegeben.« Beschäftigte in der Montage müssen darum von Produkt zu Produkt unterschiedliche Abläufe beherrschen. Als Anleitungen dafür bekommen sie häufig nur eine technische Zeichnung als Papierdokument, was das freie Arbeiten mit beiden Händen erschwert. »Das ist umständlich und unproduktiv, weil sie sich sowohl auf das Ablesen als auch auf die Montage konzentrieren müssen«, führt Waßmuth aus.

Genau hier kommt nun AVIKOM ins Spiel: »Audiovisuelle Unterstützung durch ein kognitives und mobiles Assistenzsystem«. Es kann sich individuell und aufgabenbezogen an die Mitarbeiter und den entsprechenden Arbeitskontext anpassen. Mit visuellen und auditiven Handlungshinweisen soll es die Beschäftigten entlasten, die Produktivität steigern sowie langfristig digitalisierte Prozesse in kleinen und mittelständischen Unternehmen (KMU) fördern.

Intelligente Kombination von Headset und AR-Brille

Ein wichtiges Merkmal von AVIKOM ist die Kombination eines Headsets mit einer Datenbrille, der Microsoft Hololens 2. AVIKOM „erweitert“ die Realität im Sinne von Augmented Reality (AR), indem es beispielsweise Hologramme in das reale Sichtfeld einblendet. Neben Texten, Grafiken, Bildern, Videos und Hologrammen kann AVIKOM auch auf Dokumente zugreifen, die in den Prozessen der Unternehmen etabliert sind.

Eine weitere Schnittstelle ist das intelligente Kopfhörersystem. »Es besteht aus einem mobilen Endgerät, Kopfhörern und Mikrofon«, erläutert Lars Schalkwijk, Projektmitarbeiter im Institut für Systemdynamik und Mechatronik (ISyM) der FH Bielefeld. »So erhalten Nutzerinnen und Nutzer ihre Hilfshinweise über synthetisierte Sprache und Klänge. Mitarbeiterinnen und Mitarbeiter können das System über Sprachbefehle aktiv steuern, zusätzliche Hinweise anfordern und sogar in Lärmumgebungen Rückfragen stellen.«

Über Klang und Bild zum richtigen Produkt

Waßmuth hat das Kopfhörer-System in einem vorangegangenen Projekt namens HEA2R entwickelt. In dem Verbundprojekt AVIKOM werden nun einzelne Komponenten aus dem Vorgängerprojekt verwendet und für industrielle Anwendungsszenarien adaptiert und erweitert. »Fehlermeldungen, deren Lokalisierungen sowie Navigation über Klänge und visuelle Einblendungen haben wir als neue Elemente hinzugefügt«, erklärt Schalkwijk. So navigiert das Assistenzsystem beispielsweise den Beschäftigten zum richtigen Regal und Produkt bei Kommissioniertätigkeiten.

Forschungskonsortium aus FH und Uni

Bei AVIKOM ist die FH Bielefeld für die Entwicklung der auditiven, die Forschungsgruppe »Neurokognition und Bewegung – Biomechanik« der Universität Bielefeld um Prof. Dr. Thomas Schack für die Entwicklung der visuellen Komponente zuständig. Darüber hinaus ist die Forschungsgruppe mit der Diagnostik betraut. Mit einer Analyse auf Software-Basis ermitteln sie Vorwissen und Fertigkeiten der Beschäftigten, das sogenannte Assistenzlevel, anhand dessen dann individualisierte Handlungshinweise erstellt werden. Unter der Leitung von Prof. Dr. Günter Maier kümmert sich die Arbeits- und Organisationspsychologie der Universität Bielefeld um die Bereiche Arbeitsgestaltung, Qualifizierungsbedarf und Change Management. Gemeinsam kreieren alle drei Forschungsgruppen die Schnittstellen zwischen den Systemkomponenten sowie zwischen dem System und dem Menschen, modellieren Anwendungsszenarien mit den KMUs und testen das System vor Ort.

Wichtig ist dem Forschungsteam, dass AVIKOM die Beschäftigten bestmöglich dabei unterstützt, Arbeitsschritte eigenständig durchzuführen. »Wir wollen keine Abhängigkeiten schaffen«, erläutert Schalkwijk. »Deswegen erklärt das System auch, warum eine bestimmte Tätigkeit ausgeführt werden soll.« Wurde eine Aufgabe mehrmals erfolgreich abgeschlossen, reduziert AVIKOM seine Assistenztätigkeit schrittweise. Und die Nutzer können das Assistenzlevel für jeden Arbeitsschritt jederzeit selbst aktiv erhöhen oder verringern.

Assistenzsystem arbeitet interaktiv und modular

In der Unterhaltungsbranche, im OP-Saal und in der Automobilindustrie, aber auch zunehmend im verarbeitenden Gewerbe kommen AR-Brillen bereits zum Einsatz. »Das Besondere an unserem Assistenzsystem ist allerdings, dass sich AVIKOM individuell an den Wissenstand, die Präferenzen und Einschränkungen des Nutzers ebenso wie an die Umgebungsfaktoren und Informationstypen anpasst«, verdeutlicht Schalkwijk. »Es liefert Informationen genau dann, wenn sie benötigt werden. Und genau so, wie sie benötigt werden.« Neu seien außerdem der modulare Aufbau des Systems sowie die multimodale und aufeinander abgestimmte Aus- und Eingabe von Informationen.

Positives Feedback von testenden Unternehmen

In Praxistests bei Unternehmen habe sich das System als hilfreich und richtungsweisend erwiesen, so Tobias Ehlentrup, der als technischer Geschäftsführer des ISyM verschiedene Forschungsprojekte unterstützt und verbindet - wie auch das Teilvorhaben im Verbundprojekt. Langfristig wünscht sich das Forschungsteam, dass AVIKOM Teil unserer Arbeitswelt wird und besonders ältere Beschäftigte, Menschen mit Behinderungen oder mit Migrationshintergrund im Job unterstützt. Ende Mai präsentierte das Forschungskonsortium das AVIKOM-System auf der Hannover Messe.