Wissenschaftler am Fraunhofer IOSB entwickeln eine innovative Methode zur effizienten Schüttgutsortierung mit Event-Kameras. Diese Technologie ermöglicht eine signifikant höhere Trennschärfe bei hohen Durchsatzraten und eignet sich besonders für schwierige Sortieraufgaben wie etwa von Folien oder Kräutern. Gleichzeitig spart der Ansatz aufwendige und kostenintensive Maßnahmen zur Materialberuhigung.

Insbesondere im Recyclingbereich sind hohe Massenströme notwendig, um einen wirtschaftlichen Einsatz der Aufbereitungstechnologien zu ermöglichen, während zugleich eine hohe Reinheit für eine breite Anwendung des aufbereiteten Materials erforderlich ist. Hohe Massenströme erschweren allerdings die Sortieraufgabe erheblich, da Objekte näher zusammen liegen oder sich schneller bewegen und daher schwieriger zu trennen sind. Dieser Zielkonflikt ist eine erhebliche Herausforderung für herkömmliche sensorgestützte Sortiersysteme, die insbesondere bei hohen Durchsatzraten unter signifikanter Unschärfe aufgrund mechanischer Separationsprozesse leiden.

Die Grenzen herkömmlicher Sortiersysteme

Die weit verbreiteten sensorgestützten Sortiersysteme basieren auf einem Prozess, der Materialförderung, Transport, sensorisches Erfassen durch einen Zeilensensor und die Trennung durch pneumatische Schnellschaltventile umfasst. Konventionelle Systeme gehen implizit von einer gleichförmigen Bewegung der Objekte zwischen dem Zeilensensor und den Trennelementen aus. Diese Annahme trifft jedoch oft nicht zu, wie anhand eines Beispiels schnell klar wird: Sollen zum Beispiel bei der Aufreinigung von Tee minderwertige Blätter und unbekannte Verunreinigungen wie Metallsplitter aussortiert werden, haben diese Materialien stark unterschiedliche Flugeigenschaften. Eine Bewegungsannahme wird also nie für beide Materialien zutreffen. Zusätzlich zu den unbekannten Materialien können Luftverwirbelungen am Düsenarray die Objekte ablenken. Insgesamt führen diese Abweichungen dazu, dass die falschen Düsen angesteuert werden und dadurch Fremdstoffe verfehlt werden.

Lösungsansätze wie eine verbesserte Materialberuhigung durch ein längeres Förderband und dem Erzeugen eines homogenen Luftstroms über dem Förderband verursachen einen erheblichen Mehraufwand sowie höhere Anschaffungs-, Wartungs- und Betriebskosten. 

Event-Kameras: Die Lösung für präzises Tracking

Ein Ansatz, um die Problematik der Blindphase zu lösen, ist das Tracking der Objekte in diesem kritischen Bereich. Traditionelle, Frame-basierte Kameras sind hier jedoch aufgrund ihrer Framerate und der daraus resultierenden Latenz nicht geeignet. Die Verarbeitung großer Datenmengen der Bilddaten verlängert diese Latenz zusätzlich.

Event-Kameras repräsentieren einen fundamental anderen Ansatz in der Bildaufnahme und -verarbeitung. Statt in regelmäßigen Zeitabständen komplette Bilder zu erfassen, reagieren Event-Kameras asynchron auf Änderungen in der Helligkeit jedes einzelnen Pixels. Jedes Mal, wenn ein Pixel eine Änderung in der Lichtintensität wahrnimmt, die einen bestimmten Schwellenwert überschreitet, erzeugt die Kamera ein sogenanntes Event. Diese Events bestehen aus Zeit, Ort und Vorzeichen der Intensitätsänderung. 

Die Arbeitsweise von Event-Kameras bringt entscheidende Vorteile: Sie erzeugen Daten nur bei Änderungen im Sichtfeld, wodurch die Datenmenge stark reduziert und die Verarbeitung effizienter wird. Mit ihrer hohen zeitlichen Auflösung erfassen sie Bewegungen in Echtzeit und zugleich detaillierter als herkömmliche Kameras. Diese Merkmale machen sie ideal für Anwendungen, die präzises Tracking schneller Bewegungen erfordern, wie etwa bei der Verfolgung von Schüttgutobjekten.

Synergie von Zeilen- und Event-Kamera

Die Zeilenkamera bleibt weiterhin für die Klassifizierung der Objekte zuständig, um Form, Farbe und Spektrale Informationen für die Klassifikation zu nutzen. Für die ersten Versuche erfolgte eine einfache Trennung anhand der Farbe, aber auch der Einsatz einer Hyperspektralkamera zur Materialklassifikation wäre denkbar. Das Tracking basiert ausschließlich auf den Daten der Event-Kamera. Durch die Synchronisierung beider Kameras wird eine kontinuierliche und präzise Verfolgung der klassifizierten Objekte bis zum Düsenarray gewährleistet. Im gewählten Tracking-Verfahren nach Barranco et al. (Barranco et al., 2018) wird 500 Mal pro Sekunde ein Tracking-Schritt durchgeführt. Kurz bevor das Objekt das Düsenarray erreicht, wird die bisherige Trajektorie extrapoliert und die auszulösende Düse bestimmt.

Die Herausforderung der Zuordnung des Klassifikationsergebnisses zum Event-Tracking wird dadurch gelöst, dass das Tracking initiiert wird, sobald ein Objekt von der Zeilenkamera erkannt wird. Die Position des Objektes zum Erfassungszeitpunkt ist bekannt. Die Event-Daten werden zeitlich gebuffert, sodass das Tracking in der Vergangenheit beginnt und das Teilchen eingeholt wird, bevor es in das Echtzeittracking übergeht. Dieser Prozess ermöglicht eine nahtlose Integration der Klassifizierung und des Trackings, was für die Effizienz des gesamten Sortiersystems entscheidend ist.

Steigerung der Genauigkeit durch Event-Kameras

Für die Evaluierung des Verfahrens wurde eine einfache Klassifikationsaufgabe gewählt, bei der Ziegel aus einem Gemisch mit Kalksandstein aussortiert werden sollen. Durch die einfache Klassifikationsaufgabe, die Anhand der Farbe gelöst wird, kann davon ausgegangen werden, dass Fehler einzig auf die mechanische Trennung zurückzuführen sind. Für den Materialtransport wurde eine Rutsche gewählt. Dieser Ansatz ist kostengünstiger und einfacher als beispielsweise der Einsatz eines Förderbandes, erhöht jedoch die Inhomogenität der Objekttrajektorien, was eine zusätzliche Herausforderung für das Tracking-System ist. Die Implementierung des Event-basierten Trackings steigerte die Genauigkeit im Versuch von 78,6 Prozent auf 99,2 Prozent. Die Rechenzeit des Tracking-Verfahrens lag dabei in einem Bereich, der auch einen Echtzeiteinsatz ermöglicht. Dies unterstreicht die Effektivität der Event-Kamera-Technologie, die auch unter schwierigen Bedingungen eine erheblich höhere Genauigkeit ermöglicht und zugleich eine schnelle Verarbeitung der Daten sicherstellt.
 

Anwendungsbereiche und Zukunftsausblick

Die Integration von Event-Kameras in Sortiersystemen verspricht wesentliche Kostenvorteile durch die Vereinfachung des mechanischen Aufbaus und eine erhöhte Genauigkeit, insbesondere bei anspruchsvollen Sortieraufgaben wie der Trennung von Kräutern oder Leichtverpackungen. Ein weiterer spannender Anwendungsbereich ist die Live-Qualitätskontrolle, bei der jedes Teilchen auch nach dem Düsenarray weiterverfolgt wird, um sicherzustellen, dass die Trennung erfolgreich ausgeführt wurde. Der nächste Schritt ist der Aufbau eines voll funktionstüchtigen Demonstrators, der das Potenzial dieser Technologie in der Praxis demonstriert und damit den Weg der Technologie in die industrielle Anwendung ebnet.

Literatur
Barranco, F., Fermuller, C., & Ros, E. (2018). Real-Time Clustering and Multi-Target Tracking Using Event-Based Sensors. 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 5764–5769. https://doi.org/10.1109/IROS.2018.8593380

Autor
Paul Bäcker, Wissenschaftlicher Mitarbeiter am Fraunhofer IOSB