Am 01. Juli kamen etwa 30 IoT- & Open-Source-Enthusiast:innen (sowohl in Person als auch remote) auf Einladung von IONOS zu einem Hackathon zusammen. Dieser wurde gemeinsam mit Stackable und der Bytefabrik.AI veranstaltetet. Ziel des Hackathons war es, die Hosting-Plattform von IONOS, die Data Platform von Stackable sowie Apache Streampipes zusammenzubringen und damit den Aufbau eines durchgängigen IoT-Datenflusses vom Edge-Gerät bis zum Analysten-Dashboard zu realisieren.
Aufgabenstellung des Hackathons
Als Ausgangspunkt wurde eine kleine Paketsortierungsanlage simuliert, die von einer echten kleinen Speicherprogrammierbaren Steuerung (SPS) gesteuert wurde. Dabei werden (wie unten zu sehen) Pakete unterschiedlicher Größe auf einem Rollband angeliefert. Mittels eines Höhensensors, dessen Werte an die SPS (kleiner grauer Kasten unten rechts) übermittelt werden, wird die Höhe eines Pakets bestimmt. Auf dieser Basis leitet die SPS die Pakete entsprechend nach links oder rechts weiter.
Die von der SPS generierten Daten galt es direkt von dieser abzugreifen und in die Cloud zu laden. Anschließend sollten die Daten dort mittels der Stackable Data Platform aufbereitet und analysiert werden.
Basierend auf dieser Ausgangslage waren die folgenden vier Aufgabenstellungen zu lösen:
- Daten der SPS mittels Streampipes auslesen und in der Cloud zur Verfügung stellen (#data-ingestion)
- Einlesen und Aufbereitung der Daten mittels der Stackable Data Platform (#data-integration)
- Analysieren der Daten und Aufbereiten in Dashboards (#data-analysis)
- Anomalie-Erkennung der Sortierungsanlage direkt in StreamPipes (#surprise-us)
Let’s hack
Nach einer kurzen Einführung der Tracks durch die jeweiligen Paten (Bytefabrik.AI und Stackable), fanden sich die Teams zu jedem Aufgabenbereich recht schnell in Eigenregie.
Im Anschluss ging es direkt los: Da das Team von Track 1 die anderen Teams mit Daten versorgen musste, stand es direkt etwas unter Zeitdruck.
Mit dem entsprechenden Adapter von Streampipes gelang es jedoch, direkt die Daten von der SPS auszulesen und über ein Kafka Topic den anderen Teams zur Verfügung zu stellen. Die von IONOS gehostete Stackable Platform stellte dazu die zugehörige Kafka-Instanz zur Verfügung.
Somit waren die Daten für alle anderen Teams verfügbar, welche sich umgehend an die Verarbeitung der Daten machten.
Im Rahmen einer kurzen Abschlusspräsentation stellten dann alle Teams ihre Ergebnisse kurz vor. Neben der Zurverfügungstellung der Daten zeigte das Team von Track 1, wie sich die Daten auch innerhalb von Streampipes aufbereiten und in Form von Dashboards analysieren lassen. Track 2 gelang es mit der Hilfe von Apache Druid aus der Stackable Platform die SPS-Daten direkt von Kafka zu lesen und aufzubereiten. Das Team von Track 3 zeigte verschiedene Visualisierungen der Daten, die es mit Apache Superset erstellt hatte. Darüberhinaus präsentierte Team 4 eine Anomalieerkennung für die Paketsortierungsanlage, die als externe Komponente realisiert und in Form eines Prozessors in StreamPipes eingebunden wurde.
Zusammen genommen haben alle Teams also das Ziel des Hackathons, eines Ende-zu-Ende Datenfluss von einem Edge-Gerät bis hin zum Analysten-Dashboard, erreicht und dabei spannende Resultate erzielt.
Gemeinsames Ausklingen
Abschließend klang der Tag in kleineren Gesprächsrunden aus. Dabei wurde nochmal über die verwendeten Technologien und die interessanten Ergebnisse der verschiedenen Teams gesprochen. Insgesamt war der Hackathon ein sehr interessantes und spannendes Event. Es ließen sich verschiedene moderne Technologien aus den Bereichen Data Engineering, Kubernetes und Stream Processing ausprobieren. Zusätzlich gab es viel Austausch und Interaktion zwischen den Teilnehmer:innen, was den Tag sehr kurzweilig und unterhaltsam machte.
