[Meetup] Data Science & AI #11 – Building LLM applications

Am 09.11.2023 haben wir das Meetup der Gruppe Nürnberg Data Science & Artificial Intelligence gehostet, bei dem sich alles um die Erstellung von Large Language Models (LLM) drehte.

Talk 1: Wie man LLM-Anwendungen mit Haystack erstellt (Thomas Jonas & Phuong Mai Mai)

Der Bereich der generativen KI hat in den letzten Jahren ein enormes Wachstum erfahren. Die Technologielandschaft eröffnet viele Möglichkeiten, modernste Werkzeuge in unsere Anwendungen zu integrieren. Große Sprachmodelle (Large Language Models, LLMs) sind Hilfsmittel für verschiedene Aufgaben wie die Beantwortung von Fragen, die Zusammenfassung von Inhalten und die semantische Suche.

In diesem Vortrag werden wir uns mit den praktischen Prinzipien der Erstellung von LLM-Anwendungen beschäftigen. Haystack ist ein Open-Source-Framework, das ermöglicht, benutzerdefinierte Anwendungen mit dem vollen Potenzial moderner LLMs zu erstellen. Dank seiner Einfachheit und Flexibilität kann es zur Speicherung und Abfrage von Domänendaten verwendet werden. Den Kern des Vortrags bilden praktische Einblicke in das Framework, wobei wir einen Überblick über die Haystack-Komponenten geben und zeigen, wie sie zusammenarbeiten. Darüber hinaus werden wir auch die Herausforderungen moderner LLMs ansprechen und diskutieren, wie man mit ihnen umgehen kann.

Über die Speaker:

Thomas Jonas ist Software-Ingenieur und Datenwissenschaftler und absolviert derzeit ein Masterstudium in Informatik. Thomas hat einen Bachelor-Abschluss in Informatik mit einer Spezialisierung in Data Science, was sein Interesse an der datengesteuerten Welt zeigt. Als Werkstudent bei inovex hat er aktiv an verschiedenen Projekten mitgewirkt, wobei er sich auf das Prototyping und die Implementierung von Chatbot-Assistenz und die Anwendung von Sprachmodellen konzentriert hat.

Phuong Mai Mai ist Machine Learning Engineer bei inovex und berät Kunden bei der Entwicklung von datenbasierten Produkten und KI-Lösungen. Im Laufe der Jahre hat sie sich mit verschiedenen NLP-Anwendungsfällen und Chatbot-Architekturen beschäftigt. Außerdem ist ihr eine verantwortungsvolle und transparente Softwareentwicklung sehr wichtig.

Talk 2: Master of Art Forgery (Pascal Fecht)

„Master of Art Forgery“ ist ein Browser-Spiel, das wir in den letzten Monaten entwickelt haben. Mit Hilfe einer generativen KI müssen die Spieler:innen die vorgegebenen Bilder so genau wie möglich erstellen. Das Schöne daran: Sie lernen nebenbei auch noch Prompt Engineering! Ich möchte darüber sprechen, wie wir auf die Idee gekommen sind (Stichworte: Product Discovery und Design Thinking), welche Technologien wir verwenden und was wir für die Zukunft planen.

Über den Speaker:

Pascal Fecht ist Software und Machine Learning Engineer aus Karlsruhe mit einer Leidenschaft für KI, NLP und Softwareentwicklung. Er studierte Informatik und Medien an der Hochschule Karlsruhe und der Hochschule der Medien Stuttgart. Seit 2019 arbeitet Pascal bei inovex in Projekten, um Probleme mit Hilfe der neuesten Fortschritte in NLP und generativer KI zu lösen.