Open Grid Europe Unternehmensdaten per Chatbot abrufen
Technologien
Kundennutzen
- Zugang zu Unternehmens- und Prozessdaten mit Chatbots
- KI-Agent agiert mit externen Systemen
- Von der Idee zum Proof of Concept in zwei Wochen
In Zusammenarbeit mit der Open Grid Europe GmbH hat inovex einen Chatbot mit einem KI-Agenten entwickelt, der einen niederschwelligen Zugang zu Unternehmensdaten bietet. Der entwickelte Prototyp wurde innerhalb von zwei Wochen umgesetzt und ermöglicht den internen Mitarbeitenden die Abfrage von strukturierten und Live-Daten von Verdichterstationen in natürlicher Sprache.
Chatbots im Unternehmenseinsatz
Unternehmensrelevante Daten wie z. B. Vertriebs- oder Produktionsdaten liegen oft in unterschiedlichen Systemen vor. Das Auffinden der richtigen Informationen erfordert Spezialwissen über die verschiedenen Systeme, viel Zeit und oft auch Expertise, um die Informationen abzufragen und bereitzustellen. Chatbots können diese strukturierten Informationen einfach zugänglich machen. Aktuelle Chatbots wie ChatGPT können in natürlicher Sprache interagieren und komplexe Aufgaben lösen – darunter Content-Generierung, Textzusammenfassungen oder auch die Beantwortung von komplexen Fragen. Die zugrundeliegenden Large Language Models (LLMs) können zudem schnell und einfach in eigene Cloud-Infrastrukturen und Anwendungen integriert werden, z. B. mit Azure OpenAI. Fragen wie „Wie hoch war der Umsatz im November 2023?“ oder „Welche Kompressoranlage läuft gerade in Krummhörn?“ können diese Chatbots allerdings nicht beantworten, da sie keinen Zugriff auf die strukturierten und teilweise veränderlichen Unternehmens- und Prozessdaten haben.
Aktuelle Unternehmensdaten in Chatbot integrieren
Gemeinsam mit der Open Grid Europe GmbH hat inovex ein Konzept und einen Prototyp für einen Chatbot entwickelt, der genau diesen Zugriff auf Unternehmensdaten hat. Dafür haben wir das Konzept des KI-Agenten genutzt. Diese Agenten haben Zugang zur Außenwelt und können mit externen Systemen interagieren sowie Informationen abrufen und bereitstellen. Die Spezifikation solcher Agenten wird dem Sprachmodell mitgegeben und zur Beantwortung von Benutzer:innenanfragen kann der Chatbot auf die KI-Agenten zurückgreifen.
Von der Vision zur Lösung
Die Implementierung eines komplexen Chatbots, der strukturierte Unternehmenswerte integriert und mit Unternehmenssystemen interagiert, erfordert eine genaue Planung und ein genaues Scoping des Systems, um die Komplexität zu reduzieren. Der Proof-of-Concept-Ansatz von inovex besteht daher aus den folgenden vier Phasen, die in enger Zusammenarbeit mit Open Grid Europe durchgeführt wurden.
Workshop: Bewertung und Auswahl eines vielversprechenden Anwendungsfalls hinsichtlich Kundennutzen, Komplexität, möglicher Risiken bei der Umsetzung und anschließende Formulierung einer Lösungsidee.
Vorbereitungsphase: Technische Einrichtung und Detailklärung, z. B. Einrichtung einer Azure Subscription und des Zugangs zu OpenAI.
Umsetzungsphase: Umsetzung der Lösungsidee in einem iterativen, agilen Prozess mit kontinuierlichem Feedback und Anpassungen.
Abschlusspräsentation: Präsentation der entwickelten Lösung, ihrer Vorteile und der gewonnenen Erkenntnisse.
Als ersten Schritt in diese Richtung haben Open Grid Europe und inovex in einem zweiwöchigen Proof of Concept das Konzept der KI-Agenten anhand einer Schnittstelle für Sensordaten von Verdichterstationen getestet.
Technologischer Hintergrund
Die umgesetzte Lösung besteht aus drei Komponenten:
- Einer API als Schnittstelle zu den Sensordaten der Verdichterstationen,
- einer Chatbot-Anwendung bestehend aus dem KI-Agenten sowie einem Frontend und
- den Sprachmodellen, die über Azure OpenAI bereitgestellt werden.
Die Schnittstelle zu den Informationen der Verdichterstationen ist als leichtgewichtige FastAPI implementiert. Sie stellt Informationen über die Sensordaten der Verdichterstationen zur Verfügung.
Die eigentliche Chatbot-Anwendung ist mit chainlit, einer Python- bzw. React-Bibliothek, umgesetzt. Sie stellt die grundlegenden Funktionen für ein modernes Chat-Interface mit LLMs zur Verfügung. Darauf aufbauend kommt Langchain zum Einsatz, um den KI-Agenten umzusetzen. Der Agent besteht aus zwei Komponenten:
- Dem Planer, der die API-Endpunkte und deren Spezifikation kennt und einen Plan zur Beantwortung der Benutzer:innenanfrage entwirft, und
- dem Controller, der die einzelnen Schritte des Plans ausführt, die Endpunkte aufruft und die Ergebnisse interpretiert.
Dabei werden in einem iterativen Prozess (ReAct-Pattern) auch komplexe Anfragen beantwortet. Im Proof of Concept wurden verschiedene Sprachmodelle von OpenAI evaluiert, wobei sich GPT-4 mit dem gewählten Ansatz als zuverlässig erwies.
Ausblick & Fazit
Innerhalb kürzester Zeit ist es inovex und Open Grid Europe gelungen, einen KI-Agenten zu entwickeln, der Unternehmensdaten von Open Grid Europe über einen Chatbot zugänglich macht. Über das mit Chainlit realisierte Webinterface können autorisierte und authentifizierte Mitarbeiter:innen von Open Grid Europe mit dem Chatbot interagieren und komplexe Fragen an die Verdichterstationen stellen. Der KI-Agent ist dabei so konzipiert, dass weitere Daten und Systeme schnell integriert und zusätzliche Systeme angebunden werden können.