Hinweis:
Dieser Blogartikel ist älter als 5 Jahre – die genannten Inhalte sind eventuell überholt.
In den vorhergehenden Artikeln zu Datenprodukten haben wir uns mit den weichen Erfolgsfaktoren und strategischen Fragestellungen (5 Erfolgsfaktoren) auseinandergesetzt. Den heutigen Artikel widmen wir der KPI-basierten Erfolgsmessung von Datenprodukten. Die Analyse habe ich im Rahmen meiner Werkstudententätigkeit bei inovex durchgeführt.
„What gets measured gets managed…“*
Der Erfolg neuer Features und Produkte wird stets am Umsatz, oder im Falle einer Website, an Key Performance Indicators (KPIs) gemessen. Daher haben wir uns gefragt, inwiefern sich die Erfolgsmessung von Datenprodukten, wie Recommender-Systemen oder Chatbots, von der klassischen E-Commerce-Sichtweise unterscheidet und was es hierbei zu beachten gibt.
Hierfür präsentieren wir zunächst eine generelle Einteilung von ausgewählten klassischen KPIs, um diese anschließend den Besonderheiten der Erfolgsmessung von Datenprodukten gegenüberzustellen.
Wie misst man den Erfolg einer Website?
Im klassischen E-Commerce-Business werden zur Messung der Performance von Websites verschiedenste KPIs genutzt, wie zum Beispiel die Nutzungszeit oder die Anzahl der Nutzer:innen. Aufgrund der Vielzahl an bestehenden KPIs bietet es sich an, diese anhand einer festen Struktur zu untergliedern, um einen Überblick über die verschiedenen Anwendungen zu erhalten. Dabei lassen sich die KPIs zunächst anhand einzelner Funktionsbereiche (z. B. Customer Service, Marketing, Sales) innerhalb eines Unternehmens einteilen. Das Prinzip der Balanced Scorecard** liefert eine weitere Einteilungsmöglichkeit, um die Verwendung der KPIs innerhalb der Funktionsbereiche zu differenzieren. Die folgende Abbildung zeigt eine beispielhafte Einteilung einiger ausgewählter KPIs, welche wir unter anderem bei estrategy-magazin.de, linkedin.com und vtldesign.com gefunden haben. Eine genaue Betrachtung von klassischen KPIs ermöglicht somit verschiedenste Aussagen über das Nutzungsverhalten auf einer Website, über die Entwicklung der Rentabilität und über die Effizienz von Prozessen.
Gütemessung des Modells ≠ Performance-Messung des zugehörigen Datenprodukts
Bei Datenprodukten verhält sich die Erfolgsmessung etwas anders. Während der Produktentwicklung steht zunächst die Performance des Datenprodukts im Vordergrund. So ist es beispielsweise bei Search Engines wichtig, den Recall (identifizierte relevante Dokumente / relevante Dokumente) und die Precision (identifizierte relevante Dokumente / identifizierte Dokumente) des Algorithmus zu betrachten, um so Rückschlüsse auf die Güte des Modells zu erlangen. Je nach Modell und Anwendung werden verschiedenste Gütemaße verwendet (weitere unter nlp.stanford.edu und machinelearningmastery.com).
Die Güte des Modells gibt jedoch keinen Aufschluss darüber, wie das Datenprodukt letztendlich vom Kunden genutzt wird. Dafür werden wieder die klassischen KPIs aus dem E-Commerce betrachtet. Hierbei kann allerdings ein Perspektivenwechsel bei der Betrachtung der KPIs notwendig sein. Das Beispiel im folgenden Abschnitt verdeutlicht, inwiefern eine solche Umkehrung der Perspektive auf gewisse Kennzahlen dabei helfen kann, den Einfluss eines Datenprodukts richtig einzuschätzen.
eCommerce KPIs & KPIs von Smart Services
Um Machine Learning KPIs erweiterte KPI Matrix.
Warum eine verringerte Verweildauer nicht immer schlecht sein muss
Generell möchte man im klassischen E-Commerce eine hohe Verweildauer der Nutzer:innen erreichen, also die Zeitspanne maximieren, die sie tatsächlich auf der Seite verbringen. Diese Kennzahl gibt unter anderem Aufschluss darüber, wie attraktiv eine Seite für Nutzer:innen ist. Ähnliches gilt für die durchschnittliche Seitentiefe einer Nutzung, mithilfe derer man messen kann, wie weit Nutzer:innen in die Struktur der Seite vorgedrungen sind. Die durchschnittliche Seitentiefe liefert Erkenntnisse darüber, wie intensiv sich ein: Nutzer:in mit den Inhalten auseinandergesetzt hat und wie groß sein Interesse an bestimmten Inhalten sein dürfte. Angenommen, es wird nun eine intelligente Suchfunktion auf der Seite implementiert, dann können sich sowohl die durchschnittliche Seitentiefe als auch die Verweildauer der Nutzer:innen verringern, da sie ihre gewünschten Inhalte schneller findet. Bei gleichbleibender Betrachtung der KPIs würde man daraus schließen, dass die Suchfunktion einen negativen Einfluss auf das Nutzungsverhalten hat. Wenn man allerdings die Zielrichtung der KPIs variabel lässt und diese im Kontext betrachtet, wird deutlich, dass die Reduzierung der durchschnittlichen Seitentiefe und der Verweildauer letztendlich die Ausprägung einer gesteigerten User Experience sind. Der positive Effekt kann sich in anderen KPIs niederschlagen, wie zum Beispiel in einer gesteigerten Anzahl an Nutzer:innen. Bei der Performance-Messung eines neuen Datenprodukts ist es daher zwingend notwendig, sämtliche KPIs zu betrachten und dabei die Zielrichtung der KPIs zu hinterfragen.
Fazit
In diesem Artikel haben wir erläutert, wie man klassische KPIs im E-Commerce anhand vordefinierter Kriterien differenzieren kann. Zusätzlich sind wir näher auf die Erfolgsmessung bei Datenprodukten eingegangen und haben erklärt, inwiefern zwischen der Gütemessung des Modells und der Performance-Messung des Datenprodukts unterschieden werden muss. Wie im letzten Abschnitt gezeigt, ist es bei der Einführung von Datenprodukten besonders wichtig, dass Product Manager und Data Scientists gemeinsam die Ausrichtung der KPIs hinterfragen und diese für unterschiedliche Algorithmen vergleichen, um den Einfluss des Datenprodukts korrekt einschätzen zu können. Bei der Verbesserung des Datenprodukts sollten zudem die Metriken nicht optimiert werden, ohne gleichzeitig die Ergebnisse an Nutzer:innen zu testen. Dabei gilt stets das Motto: „Lieber das Produkt früher an den Markt bringen als in Schönheit sterben“.
Wie immer interessiert uns natürlich auch eure Meinung zu den Themen und daher freuen wir uns auf eure Kommentare!
*(Peter Drucker)
**Robert S. Kaplan, David P. Norton: The Balanced Scorecard – Measures that Drive Performance.
