Wintershall Dea Entwicklung einer unternehmensweiten Datenplattform

Wie können wir Produktions- und andere Unternehmensdaten von dem Ort, an dem sie anfallen, all jenen Leuten zur Verfügung stellen, die mit ihnen arbeiten wollen? Wie lösen wir Silos auf und heben den Datenschatz, der sich über die Jahre in unterschiedlichen Formaten auf diversen Systemen angesammelt hat? Wie ermöglichen wir Anwender:innen einen Überblick über vorhandene Daten und ihre Verknüpfungen?

Vor Fragen dieser Art stand Wintershall Dea zu Beginn der Zusammenarbeit mit inovex im Jahr 2017. Gemeinsam haben die Unternehmen Schritt für Schritt eine Lösung entworfen, angefangen mit einem kleinen Team und der Entwicklung eines SQL Data Warehouses. Spätestens mit der Fusion von Wintershall und Dea im Jahr 2019 zeigte sich aber, dass es nötig war, größer zu denken und eine zentrale Datenplattform für das gesamte Unternehmen zu entwickeln.

Zum Wintershall-Dea-Konzern gehören neben dem zentralen Hauptsitz auch zahlreiche Business Units in verschiedenen Ländern, die recht eigenständig operieren – inklusive eigener Technologien und Datenformaten. Neben den Produktionsdaten sollen damit auch Daten aus weiteren Bereichen wie Finanzen, Health & Safety, Umwelt oder Reparaturen in die geplante Plattform einfließen.

Die Anwendungslandschaft ist sehr heterogen und zum Start des Projekts gab es eine große Anzahl auf Dokumentenaustausch basierender, nicht automatisierter Reporting-Prozesse. Bei diesen Prozessen wurden in einer Reihe manueller Zwischenschritte Daten umformatiert und übertragen. Dieses Vorgehen war aufwändig und fehleranfällig.

Zwar entstanden auf diese Weise sehr viele punktuelle Verbindungen zwischen einzelnen Anwendungen, aber Datensilos blieben trotzdem bestehen.

Um Abhilfe zu schaffen, Prozesse zu automatisieren und die vorhandenen Daten dem gesamten Unternehmen zugänglich zu machen, wird seit 2019 ein zentraler Data Hub entwickelt, den Wintershall Dea und inovex kontinuierlich ausbauen.

Lösungen

Die gemeinsame Vision von Wintershall Dea und inovex ist die Entwicklung einer modernen, cloud-basierten Datenplattform, die Unternehmensdaten aus einer großen Vielzahl von Quellsystemen zusammenführt, verarbeitet und für Analysen oder Weiterverarbeitung zur Verfügung stellt.

Ein wichtiger Aspekt bei der Entwicklung der Plattform ist die Metadatenpflege und Kontextualisierung der Daten, sodass Endanwender:innen sich leicht einen Überblick verschaffen können, welche Daten vorhanden sind, wo sie herkommen, wie sie verwendet werden und mit welchen anderen Daten sie in Verbindung stehen.

An der Realisierung dieser Vision arbeiten die Unternehmen agil mit einem cross-funktionalen Team, das über die Jahre durch interne Entwickler:innen von Wintershall Dea als auch durch Expert:innen von inovex verstärkt wurde.

In Hochphasen umfasste das Team auf Kundenseite eine:n interne:n Product Owner für den kompletten Hub, drei interne POs für Teilbereiche, von denen einer auch als Data Engineer tätig ist, einen weiteren internen Data Engineer sowie sechs Data Engineers und eine:n Scrum Master von inovex. Aktuell sind neben PO und SM noch drei interne sowie drei Entwickler:innen von inovex im Projekt.

Tech Stack

Der Data Hub basiert auf dem Azure Tech Stack. Zusätzlich wird ein Data Lake betrieben, der mittels Pipelines befüllt wird, die über die Azure Data Factory orchestriert werden. Transformationen der Daten werden durch eigens erstellte Python-Funktionen oder via Synapse vorgenommen.

Eine Datenbank mit allen Meta-Informationen zu den Pipelines sorgt für einen noch höheren Automatisierungsgrad. Ausgewählte Nutzer:innen erhalten über eine eigens entwickelte App Zugriff auf diese Datenbank und können über eine Oberfläche selbst Konfigurationsänderungen vornehmen oder Pipeline Runs anstoßen.

Die verschiedenen Fachbereiche und Business Units von Wintershall Dea nutzen unterschiedliche Namen für dieselben Daten und Assets. Aus diesem Grund konsolidieren die Unternehmen die Masterdaten. Es gibt eine via App pflegbare Datenbank, in der neben Informationen zu Benennungen auch individualisierte Asset-Hierarchien gepflegt werden können. Beide Datenbank-Frontends wurden mit Angular entwickelt.

Zum einfachen Abruf von Daten aus dem Data Lake stellt inovex Schnittstellen/APIs (REST und GraphQL) zur Verfügung, die in Typescript geschrieben wurden. Für einige Use Cases entwickelt das IT-Projekthaus in enger Zusammenarbeit mit den Stakeholdern PowerBI Datasets, damit sie in der Lage sind, hier ihr Reporting aufzusetzen.

Um sicherzustellen, dass die Daten im Lake auch auffindbar und mit Metadaten angereichert sind, kommt Microsoft Purview als Data Catalog zum Einsatz. Hier können sowohl Entwickler:innen als auch Endanwender:innen sich einen Überblick verschaffen, auf welchem Wege welche Daten in den Data Hub kommen, wie diese verwendet werden und was sie auszeichnet.

Aktueller Stand

Der Data Hub enthält zum aktuellen Zeitpunkt mehr als 1,7 Millionen Dateien und ca. 12 TB Daten aus 10 Ländern, die aus 120 unterschiedlichen Quellen stammen, 23 verschiedene Fachbereiche abdecken und Hunderte Power BI Reports speisen. Das Data Hub Team ist dabei sowohl für die Entwicklung als auch für die Wartung von etwa 150 Pipelines verantwortlich.

inovex unterstützt eine Reihe von Analytics Use Cases – etwa in den Bereichen Health & Safety sowie Produktionsüberwachung und -optimierung. Dabei arbeiten die Expert:innen eng mit dem Data-Science-Team von Wintershall Dea zusammen, genauso wie mit Anwender:innen, die Reports und Dashboards erstellen.

Außerdem ermöglicht inovex eine ganze Reihe von Hub Use Cases, bei denen Daten von einem Quellsystem über den Data Hub auf eines oder mehrere Zielsysteme verteilt werden – etwa im Bereich Finance und Controlling. Gleichzeitig stellt inovex Schnittstellen (APIs) für verschiedene Sensordaten zur Verfügung, die von Konsumenten angefragt werden können.

Dabei werden Daten aus unterschiedlichen Systemen miteinander verknüpft und zur Weiterverarbeitung zur Verfügung gestellt. Natürlich können die zugrundeliegenden Daten – entsprechende Zugriffsrechte vorausgesetzt – auch in anderen Reporting-Kontexten genutzt und mit weiteren Kennzahlen in Beziehung gesetzt werden.

Mehrwert

Eine solch zentralisierte Datenplattform, wie sie in der Kooperation zwischen Wintershall Dea und inovex entsteht, bringt eine Reihe von Vorteilen mit sich: Interessierte Parteien erhalten leichten Zugang zu vielen Daten aus unterschiedlichen Quellen und können diese einfach miteinander verknüpfen und weiterverarbeiten. Die angestoßenen Automatisierungen sparen Zeit und machen die betroffenen Reporting-Prozesse wesentlich weniger fehleranfällig. Die Self-Services, die mit dem Purview Data Catalog sowie den Apps angeboten werden, ermöglichen es Stakeholdern, selbst aktiv zu werden. Sie können Daten beschreiben, Hierarchien anlegen und ihre eigenen Pipelines anstoßen.

Ausblick

Aktuell stehen bei Wintershall Dea viele Veränderungen an, da Teile des Unternehmens an Harbour Energy verkauft werden. Diese Transition wird von inovex begleitet, um auch weiterhin den Data Hub mit zu betreuen und zu verbessern.

Wir freuen uns sehr über die Wertschätzung unserer geleisteten Arbeit, die sich für uns darin zeigt, dass der Data Hub Teil der Transitional Services sein wird, die Harbour intensiv begutachtet.