[OWASP-Stammtisch München] Attack Surface of AI Applications

Attack Surface of AI Applications

Mit zunehmender Adaption von KI in der Praxis kommt der Sicherheit eine besondere Bedeutung zu. Die Komplexität von solchen Systemen, die Konzentration von relevanten Daten und die noch geringen praktischen Erfahrungen sorgen für hohe Anreize für potenzielle Angreifer. Ein sicheres Design bedarf deshalb eines systematischen Vorgehens, um alle Facetten des Themas abzudecken.

In diesem Vortrag beschäftigen wir uns mit der Angriffsoberfläche von KI-Anwendungen: Wir legen den Fokus dabei auf Systeme mit KI-Komponenten und betrachten ihre Besonderheiten und Bedrohungssituation. Natürlich geht es auch um Gegenmaßnahmen und deren Umsetzung im Entwicklungsprojekt. Worauf der Vortrag nicht im Detail eingeht, sind LLM-Systeme wie Chatbots, RAGs und Agentensysteme.

English version:
With the increasing adaptation of AI in practice, security is becoming particularly important. The complexity of such systems, the concentration of relevant data and the still limited practical experience provide high incentives for potential attackers. A secure design therefore requires a systematic approach to cover all facets of the topic.

In this presentation, we will take a look at the attack surface of AI applications: We will focus on systems with AI components and look at their special features and threat situation. Of course, we will also look at countermeasures and their implementation in development projects. The presentation will not go into detail on LLM systems such as chatbots, RAGs and agent systems.

Über den Speaker:
Clemens Hübner beschäftigt sich seit über 15 Jahren mit der Schnittmenge von Softwareentwicklung und Security. Nach Tätigkeiten als Software Developer sowie im Penetration Testing ist er seit 2018 als Security Engineer bei inovex. Dort begleitet er heute Entwicklungsprojekte auf Konzeptions- und Implementierungsebene, schult Kolleg:innen und Kund:innen und berät zu DevSecOps. Als Speaker wird er auf Techkonferenzen im In- und Ausland zu praktischen Themen der Anwendungssicherheit eingeladen.