spotsize Besseres Schuhkauf-Erlebnis durch Größenfindung mit AI

Mittels einer Augmented-Reality-(AR)-Lösung übernimmt die Anwendung von spotsize die Aufgaben der Schuhverkäufer:innen. Mithilfe von Machine Learning vermisst das Programm per Smartphone-Kamera die Füße der Kund:innen und bestimmt auf dieser Basis entsprechende Schuhgrößen. Das Ausprobieren mehrerer Größen entfällt und senkt damit die Anzahl der Retouren, die für Shops und Käufer:innen mit Kosten und Aufwand verbunden sind. spotsize suchte einen Partner für die Umsetzung der ML-Komponenten der App und hat diesen mit inovex gefunden.

Wie digitale 3D-Füße entstehen

Bevor jedoch eine Segmentierung in verschiedene Größen stattfinden kann, muss der Fuß in ein 3D-Modell übertragen werden. Um eine zuverlässige Vermessung und Größenzuordnung sicherzustellen, hat inovex eine Lösung zur Bildklassifikation in das Programm von spotsize integriert. Die Objekterkennung per Smartphone ist jedoch noch ein neues Anwendungsgebiet. Für das Projekt wurde daher ein forschender Ansatz gewählt, der dieser Herausforderung Rechnung trägt. Denn zum einen wurde die verwendete Technologie zur 3D-Objektklassifizierung bisher noch nicht ausführlich mit Endnutzer:innen getestet und zum anderen gibt es für die dreidimensionale Tiefenmessung mit dem Smartphone noch nicht viele Anwendungsfälle.

Die Ausarbeitung eines Proof of Concept (PoC) war nach drei Wochen abgeschlossen. Danach folgte innerhalb von vier Monaten die Integration der Lösung. Die Aufnahmen der Füße sollten sich dafür durch einen Machine-Learning-Algorithmus analysieren lassen. Störfaktoren wie Hintergrundelemente haben Deep-Learning-Modelle, die auf das Erkennen von Fußmustern trainiert sind, von der Vermessung ausgeschlossen.

Technologie&shyeinsatz

Durch die vergleichsweise neuen Technologielösungen, die zum Einsatz kamen, mussten anfänglich Probleme mit den Trainingsdaten behoben werden. Anstatt auf vorhandene Trainingsdaten zurückzugreifen, wurden eigene Modelle trainiert, um eine bessere Objekterkennung zu gewährleisten. MLFlow wurde für das Model-Management und die Verwaltung der Experimente genutzt. Die Apple CoreML hat derweil die Konvertierung der Modelle auf das Smartphone übernommen. Die Auswertungen erfolgten über Jupyter-Notebooks.

spotsize hat schließlich die Datensätze aufgenommen und gelabelt sowie die Modelle in die App eingebaut. Später folgte eine Integration in die SAP Cloud. So kann ein digitaler 3D-Zwilling des Fußes entstehen und im Nachgang seine Länge, Breite und Höhe berechnet werden. Zudem können weitere Daten aus dem 3D-Modell ausgelesen werden.

Die mithilfe eines AR-Interfaces gesammelten biometrischen Daten fließen zudem in eine Big-Data-Lösung, mit deren Hilfe zukünftig Schuhgrößen noch schneller erkannt und empfohlen werden. Das System lernt und wird effektiver.

Fazit

Durch die Verwendung neuer Technologien, wie der 3D-Objektklassifizierung mit Smartphones, ist eine einzigartige AI-Lösung entstanden, die das volle Potenzial von Smartphones im modernen E-Commerce nutzt. Für die Umsetzung war es essentiell, dass flexibel auf technische Limitierungen reagiert wurde und mehrere Lösungsansätze erforscht wurden.

Der final gewählte Ansatz war so erfolgreich, dass nun für die Endnutzer:innen mehr Funktionen zur Verfügung stehen, als es vorher geplant war: anstatt einzelne Fotos ihres Fußes zu schießen, ist es möglich, die Bilder des Fußes per AR-Scan aufzunehmen. So wird die User Experience nochmals verbessert.