Hinweis:
Dieser Blogartikel ist älter als 5 Jahre – die genannten Inhalte sind eventuell überholt.
In iOS 12 hat Apple mit Siri Shortcuts ein sehr mächtiges Werkzeug zur Verfügung gestellt. So können App-spezifische Aktionen automatisiert direkt über Siri mit einem Sprachbefehl ausgeführt werden.
Als IT-Projekthaus entwickeln wir direkt und eigenständig iOS-Apps für unsere Kunden. Wie die Case Study über FONIC zeigt, entwickeln wir für unseren Kunden FONIC das Kundenportal sowie die Android- und iOS-App. Die Apps geben dem Benutzer die Möglichkeit, Guthaben & Freieinheiten anzuzeigen, das Guthaben aufzuladen, den aktuellen Tarif einzusehen oder in einen neuen Tarif zu wechseln. Gleichzeitig können auch mehrere Verträge über eine App verwaltet werden.
Sollen Siri Shortcuts in eine bestehende App integriert werden, müssen zuerst einige Vorarbeiten geklärt werden. Zunächst stellt sich die Frage, welche Aktionen innerhalb der App sinnvoll als Shortcut abbildbar sind. Besonders geeignet sind wiederkehrende Aufgaben, die oft ausgeführt werden und nicht an einen bestimmten Zeitpunkt geknüpft sind. Um solche Aktionen zu identifizieren bietet es sich an, ein Tracking Framework in die App zu integrieren, um sich einen Überblick über die Benutzeraktionen und deren Häufigkeit zu verschaffen.
In der FONIC-App ist die Anzeige von Guthaben und Freieinheiten mit 36 % die häufigste Aktion, gefolgt von der Anzeige des Tarifs mit 10 % und dem Aufruf des eigenen Kontos mit 8 %.
Die App wird also am häufigsten dazu benutzt, das Guthaben und Freieinheiten anzuzeigen. In Kombination mit der Verwaltung mehrerer Verträge sind so die ersten beiden Siri Shortcuts geboren.
Technischer Einblick
Es gibt verschiedene Arten von Siri Shortcuts, die sich je nach Einsatzzweck und Usability voneinander unterscheiden:
Donated Shortcut
Ein Donated Shortcut ist eine App-spezifische Aktion, die in regelmäßigen Abständen wiederholt wird. iOS bezieht zusätzlich noch den Standort, die Zeit und die Art der Bewegung (laufen, rennen oder fahren) mit ein und zeigt diesen Shortcut zusätzlich vor einer wahrscheinlichen Benutzung auf dem iOS-Sperrbildschirm an.
Suggested Shortcut
Ein Suggested Shortcut ist eine App-spezifische Aktion, die der Benutzer zwar noch nicht innerhalb der App ausgeführt hat aber trotzdem von Interesse sein könnte. Die App kann diese spezifische Aktion an iOS weitergeben und der Benutzer kann diese unter Einstellungen -> Siri & Suche finden und aktivieren. Es gibt auch die Möglichkeit diesen Shortcut über einen Siri-Button in der App zu bewerben.
Relevant Shortcut
Eine App-spezifische Aktion, die abhängig von Standort und/oder Zeit über die Apple Watch eingeblendet wird.
Siri Shortcuts sind in dem von Apple zur Verfügung gestellten Framework SiriKit enthalten. Dabei kommuniziert SiriKit mit einer „Intents App Extension“ innerhalb der App. Siri koordiniert dabei die Kommunikation mit dem Benutzer und ruft die Extension nur auf, sobald Informationen benötigt werden, die mit der Anfrage zu tun haben und die unsere App liefern kann.
Ein Intent handelt die Interaktion der App mit Siri. Möchte man neben einer von Siri gesprochenen Antwort auch eine grafische Anzeige haben, muss zusätzlich noch eine „Intents UI Extension“ hinzufügt werden. Die Art und Weise wie der Benutzer die Anfrage stellen muss und welche Antwort er zurückbekommt wird in der „Intent Definition“-Datei festgelegt.
iOS bietet auch die Möglichkeit an einen Siri Button INUIAddVoiceShortcutButton direkt in die App zu integrieren. Dieser Button bekommt als Parameter das dazugehörige Siri Shortcut Objekt und kann so zwischen dem Zustand „Zu Siri hinzufügen“ und „Bereits zu Siri hinzugefügt“ unterscheiden.
Interaktion
Ein Siri Shortcut gibt uns also die Möglichkeit, auf eine Benutzeranfrage über Siri mittels Sprache zu reagieren. Zusätzlich ist es auch möglich, über eine benutzerdefinierte Anzeige Informationen einzublenden.
Beim Erstellen eines Shortcuts sollte man folgende Punkte im Auge behalten:
- Es sollte eine Aktion sein, die häufig und in regelmäßigen Abständen wiederholt wird.
- Es sollte keine Aktion sein, die an ein bestimmtes Datum geknüpft ist.
- Es sollte nicht zuvor um die Erlaubnis Siri zu benutzen gefragt werden.
- SiriKit hat bereits vorgefertigte Intents, wie z.B. INSendMessageIntent oder INPlayMediaIntent. Es sollen bereits bestehende Intents bevorzugt werden.
- Es sollen Shortcuts gebaut werden, die eigenständig – ohne die eigentliche App zu öffnen – ausgeführt werden können.
- Es ist wichtig eine passende Kategorie zu definieren. Eine Kategorie ist wichtig um Siri die Möglichkeit zu geben, optimal auf die Benutzeranfrage zu reagieren.
Bei der Antwort sollte folgendes im Auge behaltet werden:
- Viele Menschen interagieren mit Siri über ein Headset oder im Auto. Es ist wichtig auf die Anfrage zu antworten ohne dass das iPhone entsperrt oder per Touch-Bedienung reagiert werden muss.
- Die Antwort sollte immer der Anfrage entsprechend sein. So genau und so schnell wie möglich.
- Die Anfrage sollte möglichst komplett innerhalb von Siri abgehandelt werden.
- Bei der Antwort sollten nie Fingergesten oder „Touch“ Eingaben notwendig sein.
- In der Antwort sollte nie der eigene App Name oder das App-Icon eingeblendet werden. Das sind Informationen, die Siri schon zur Verfügung stellt.
Siri Shortcuts am Beispiel der FONIC App
Wir möchten den Benutzer beim Anzeigen des Guthabens innerhalb der App mit einem „Zu Siri hinzufügen“-Button auf den Siri Shortcut aufmerksam machen. Als Benutzeranfrage schlagen wir „Zeige mein FONIC Konto“ vor.
Als Antwort definieren wir unterschiedliche Möglichkeiten.
- userMissing: Es wurde kein aktiver Vertrag gefunden und der Benutzer wird aufgefordert in die App zu gehen und sich einzuloggen.
- success: Es wird nur das Guthaben ausgegeben.
- successData: Eine Ausgabe mit Guthaben und Internet-Datenvolumen.
- successPhone: Eine Ausgabe mit Guthaben und Telefon-Freieinheiten.
- successDataAndPhone: Eine Ausgabe mit Guthaben, Internet-Datenvolumen und Telefon-Freieinheiten.
In Xcode sieht das in der grafischen Oberfläche folgendermaßen aus. Hier können die ganzen Parameter und die unterschiedlichen Antworten konfiguriert werden.
Generiert wird dabei eine „Intent Definition“-Datei, die alle notwendigen Informationen für SiriKit bereithält.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 |
... <key>INIntentResponseCodeFormatString</key> <string>Sie haben ${balance} Guthaben.</string> <key>INIntentResponseCodeName</key> <string>success</string> ... <key>INIntentResponseCodeFormatString</key> <string>Sie haben ${dataUnitsLeft} von ${dataUnitsTotal} und ${balance} Guthaben.</string> <key>INIntentResponseCodeName</key> <string>successData</string> ... <key>INIntentResponseCodeFormatString</key> <string>Sie haben ${phoneUnitsLeft} von ${phoneUnitsTotal} ${phoneDescription} und ${balance} Guthaben.</string> <key>INIntentResponseCodeName</key> <string>successPhone</string> ... <key>INIntentResponseCodeFormatString</key> <string>Sie haben ${dataUnitsLeft} von ${dataUnitsTotal}, ${phoneUnitsLeft} von ${phoneUnitsTotal} ${phoneDescription} und ${balance} Guthaben.</string> <key>INIntentResponseCodeName</key> <string>successDataAndPhone</string> ... <key>INIntentResponseCodeFormatString</key> <string>Bitte loggen Sie sich in der App ein und speichern Sie Ihre Zugangsdaten.</string> <key>INIntentResponseCodeName</key> <string>userMissing</string> ... |
Nach der Konfiguration der „Intent Definition“ müssen wir die „Intents Extension“ erstellen. Sie regelt, dass je nach Vertrag die richtige Antwort zurückgegeben wird. Dafür müssen wir die Methode func handle(intent: StatusIntent, completion: @escaping (StatusIntentResponse) -> Swift.Void) des Protokolls StatusIntentHandling zwingend implementieren.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
func handle(intent: StatusIntent, completion: @escaping (StatusIntentResponse) -> Void) { guard userStorage.activeUser() != nil else { completion(StatusIntentResponse(code: .userMissing, userActivity: nil)) return } userStatusHandler.request(completion: { (success, response) in guard let response = response as? HomeResponse, success == true else { completion(StatusIntentResponse(code: .continueInApp, userActivity: nil)) return } completion(self.statusIntentResponse(from: response)) }) } |
Hat der Vertrag Internet-Datenvolumen und Telefon-Freieinheiten wird der Response successDataAndPhone zurückgegeben, sind nur Internet-Datenvolumen oder Telefon-Freieinheiten verfügbar successData oder successPhone und in allen anderen Fällen success, was nur das Guthaben zurückgibt.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
private func statusIntentResponse(from response: HomeResponse) -> StatusIntentResponse { let dataCounter = response.counters.filter({ $0.type == .dataVolume }).first let inclusiveUnitsCounter = response.counters.filter({ $0.type == .inclusiveUnits }).first if let dataCounter = dataCounter, let inclusiveUnitsCounter = inclusiveUnitsCounter { return dataAndPhoneIntentResponse(dataCounter: dataCounter, inclusiveUnitsCounter: inclusiveUnitsCounter, balance: response.balanceString) } else if let dataCounter = dataCounter { return dataIntentResponse(dataCounter: dataCounter, balance: response.balanceString) } else if let inclusiveUnitsCounter = inclusiveUnitsCounter { return inclusiveUnitsIntentResponse(inclusiveUnitsCounter: inclusiveUnitsCounter, balance: response.balanceString) } else { return classicIntentResponse(from: response) } } |
Der Benutzer stellt in Siri eine Anfrage „Zeige mein Konto an“ und die App gibt jetzt in unserem Beispiel einen gesprochenen Text „Sie haben 11,0 GB von 11,0 GB und 1,21 € Guthaben“ zurück. Dabei gibt unsere „Intents Extension“ den Status successData an SiriKit weiter, was durch unsere „Intent Definition“ folgendermaßen aufgelöst wird.
|
1 2 3 4 5 6 7 |
<key>INIntentResponseCodeFormatString</key> <string>Sie haben ${dataUnitsLeft} von ${dataUnitsTotal} und ${balance} Guthaben.</string> <key>INIntentResponseCodeName</key> <string>successData</string> |
Siri liest diese Antwort dem Benutzer vor und zeigt es zusätzlich noch über unsere „Intents UI Extension“ grafisch an.
Das ganze können wir jetzt noch mit einem Shortcut zum Wechseln des aktuellen Vertrages verbinden und der Benutzer kann das Guthaben all seiner Verträge abrufen ohne in die FONIC App wechseln zu müssen. Dazu muss jedoch in der App zu jeder hinterlegten Telefonnummern je ein Siri Shortcut erstellt werden. Zusammen mit dem Shortcut zur Anzeige des Guthaben ergibt sich nun folgender Flow innerhalb von Siri.
Werden diese Siri Shortcuts häufiger benutzt so berechnet iOS eine Voraussage für die nächste Benutzung und zeigt diesen Shortcut passend auf dem Sperrbildschirm an. So ergibt sich die Möglichkeit nach einiger Zeit noch einfacher auf die gewollten Informationen zuzugreifen.
Fazit
Der größte Vorteil von Siri Shortcuts ist es, dass App-spezifische Aktionen über Sprache ausgeführt werden können. Zusätzlich werden regelmäßige Aktionen direkt auf dem Sperrbildschirm angezeigt und umso öfter man diesen Shortcut verwendet, desto besser ist die Voraussage, wann man diesen wahrscheinlich das nächste Mal wieder verwenden möchte.
Durch die Möglichkeit, eine Anfrage per Siri zu machen, ist es viel komfortabler für den Benutzer, an bestimmte Informationen zu gelangen. Die Abfrage kann auch von Geräten aus gemacht werden, die über keinen Bildschirm verfügen, wie z.B. die AirPods oder den HomePod. Vorausgesetzt, die Shortcuts werden gut ausgewählt, entsteht so ein echter Mehrwert für den Benutzer.
Mehr Informationen über FONIC oder FONIC mobile.
Mitmachen
Du möchtest selbst Apps für iOS oder Android für eine Vielzahl interessanter Kunden entwickeln? Dann schau dir unsere Stellenanzeigen an oder erfahre mehr über unsere Mobile-Leistungen.
