Bild: Mit KI generiert

AR Interaction Design steht vor einem Problem, das klassisches Interface Design nie lösen musste: Es gibt keinen Cursor, keinen Touchscreen, keine etablierte Eingabekonvention. Der Spatial UI Artikel hat gezeigt, dass klassische Affordanz-Muster wie klickbare Buttons oder scrollbare Listen in AR keine direkte Entsprechung haben. Die Frage, die offen blieb: Wodurch werden sie ersetzt?

Die Antwort sind drei grundlegend unterschiedliche Eingabemodalitäten: Gesten, Voice und Gaze. Jede hat eigene Stärken, eigene strukturelle Grenzen und eigene Anwendungsfälle, für die sie funktioniert und für die sie scheitert.

In diesem Artikel erfährst du, was jede Modalität wirklich leistet, wo ihre strukturellen Grenzen liegen und wie professionelles AR Interaction Design diese drei Modalitäten kombiniert, statt sich für eine zu entscheiden.

Warum die Frage nicht „welche", sondern „wann" ist

Der häufigste Fehler im AR Interaction Design ist, eine Eingabemodalität als Standard für die gesamte Anwendung festzulegen. Eine App, die ausschließlich auf Gesten setzt, eine andere ausschließlich auf Voice. Das Ergebnis sind Interfaces, die für manche Aufgaben hervorragend funktionieren und für andere unbenutzbar sind.

Gesten, Voice und Gaze sind keine konkurrierenden Lösungen für dasselbe Problem. Sie sind Antworten auf unterschiedliche Interaktionsfragen:

• Was will die Nutzer:in auswählen oder fokussieren?
• Was will die Nutzer:in manipulieren oder bewegen?
• Was will die Nutzer:in dem System mitteilen, ohne etwas zu berühren?

Jede dieser Fragen hat eine Modalität, die sie strukturell besser beantwortet als die anderen. Professionelles AR Interaction Design beginnt nicht mit der Wahl einer Modalität, sondern mit der Analyse, welche dieser Fragen in welchem Moment der Nutzung gestellt wird.

Gesten: Direkte Manipulation mit physischen Grenzen

Handgesten, Pinch, Tap in der Luft, Greifbewegungen, sind die Modalität, die räumlicher Interaktion am nächsten kommt. Ein virtuelles Objekt zu greifen und zu verschieben fühlt sich intuitiv an, weil es der physischen Erfahrung entspricht.

Was Gesten wirklich leisten: Direkte Manipulation von Objekten im Raum. Ein virtuelles Objekt drehen, skalieren, verschieben, das sind Aufgaben, für die Gesten anderen Modalitäten überlegen sind, weil sie räumliche Beziehungen direkt abbilden, ohne Übersetzungsschritt.

Strukturelle Grenzen: Das bekannteste Problem ist als „Gorilla Arm" bekannt: Arme dauerhaft in der Luft zu halten, um Gesten auszuführen, ist körperlich anstrengend. Was in einer Demo nach wenigen Sekunden beeindruckend wirkt, wird in der realen Nutzung über Minuten unangenehm. Hinzu kommt fehlendes haptisches Feedback. Eine Geste, die „ins Leere" geht, liefert keine physische Rückmeldung, ob sie erkannt wurde.

Wann richtig einsetzen: Für Aufgaben mit klarem räumlichen Bezug und kurzer Dauer. Ein Objekt einmal platzieren oder skalieren ist ideal für Gesten. Eine Aufgabe, die wiederholte oder lang anhaltende Gesten erfordert, ist es nicht.

Voice: Freihändig, aber öffentlich

Sprachsteuerung ermöglicht Eingaben ohne jede physische Bewegung. Befehle, Suchanfragen, Diktat, all das lässt sich aussprechen, ohne Hände oder Blick einzusetzen.

Was Voice wirklich leistet: Komplexe oder spezifische Eingaben, die über Gesten oder Gaze nicht effizient ausgedrückt werden können. „Zeige mir alle Termine nächste Woche" ist eine Anfrage, die als Geste kaum sinnvoll formulierbar ist. Voice ist außerdem die einzige Modalität, die vollständig freihändig funktioniert, relevant für Situationen, in denen die Hände bereits beschäftigt sind.

Strukturelle Grenzen: Soziale Akzeptanz ist die größte Hürde. Mit einem AR-Gerät in der Öffentlichkeit zu sprechen, fühlt sich für viele Menschen unangenehm an, unabhängig von der technischen Qualität der Spracherkennung. Hinzu kommt das Discoverability-Problem: Anders als bei einem Button, der sichtbar ist, weiß die Nutzer:in bei Voice nicht automatisch, welche Befehle das System versteht. Umgebungslärm ist eine zusätzliche, eher technische Einschränkung.

Wann richtig einsetzen: Für Befehle und Suchanfragen in privaten oder kontrollierten Umgebungen, und als Ergänzung für Nutzer:innen, die andere Modalitäten aus Accessibility-Gründen nicht nutzen können. Als alleinige primäre Eingabemethode in öffentlichen Kontexten ist Voice selten die richtige Wahl.

Gaze: Schnell, aber mit dem Midas-Touch-Problem

Eye Tracking erfasst, wohin eine Nutzer:in schaut, und nutzt diese Information als Eingabe. Was die Augen fokussieren, wird als Ziel interpretiert.

Was Gaze wirklich leistet: Targeting, also das Fokussieren eines Ziels, geschieht mit Gaze schneller als mit jeder anderen Modalität. Die Augen bewegen sich ohnehin dorthin, wohin die Aufmerksamkeit geht, Gaze nutzt diese natürliche Bewegung, ohne zusätzlichen Aufwand von der Nutzer:in zu verlangen.

Strukturelle Grenzen: Das zentrale Problem heißt „Midas Touch": In der griechischen Mythologie verwandelte sich alles, was König Midas berührte, in Gold, ob gewollt oder nicht. Bei Gaze-Interaktion gilt dasselbe für Blicke: Wenn jeder Blick eine Aktion auslöst, wird jede natürliche Betrachtung versehentlich zu einer Eingabe. Eine Nutzer:in kann nicht einfach etwas ansehen, ohne dadurch etwas auszulösen.

Wann richtig einsetzen: Gaze allein ist für Aktionen ungeeignet. Als Targeting-Mechanismus in Kombination mit einer zweiten Modalität zur Bestätigung ist Gaze hingegen äußerst wirksam, und das ist der entscheidende Punkt für die Praxis.

Die eigentliche Antwort: Multimodale Kombination

Apples visionOS Eingabemodell löst das Midas-Touch-Problem durch genau diese Kombination: Gaze bestimmt das Ziel, eine Pinch-Geste bestätigt die Auswahl. Die Augen zeigen, wohin die Aufmerksamkeit geht, ohne dass das allein eine Aktion auslöst. Die Geste ist die explizite Bestätigung, dass diese Aufmerksamkeit auch eine Absicht ist.

Dieses Muster, „Look to target, gesture to confirm", ist kein Zufall, sondern die strukturelle Antwort auf die jeweiligen Grenzen der einzelnen Modalitäten:

• Gaze übernimmt Targeting, wofür es am schnellsten ist, und vermeidet durch die fehlende alleinige Aktionsauslösung das Midas-Touch-Problem
• Gesten übernehmen Bestätigung und Manipulation, in kurzen, punktuellen Bewegungen statt dauerhaft erhobener Arme, was das Gorilla-Arm-Problem entschärft
• Voice ergänzt für komplexe Eingaben, Suche oder Diktat, dort wo es kontextuell akzeptabel ist, und als Accessibility-Option

Für AR App Design bedeutet das: Die Designentscheidung ist nicht „Gesten oder Voice oder Gaze", sondern welche Kombination für welche Aufgabe innerhalb derselben Anwendung sinnvoll ist. Ein Interface kann Gaze plus Pinch für Auswahl nutzen, Voice für Suche und direkte Gesten für Objektmanipulation, alles innerhalb desselben Erlebnisses, je nach Aufgabe.

Entscheidungsframework für die Praxis

Für jede Interaktion innerhalb einer AR-Anwendung helfen drei Fragen:

1. Ist die Aufgabe Targeting, Manipulation oder Kommunikation? Targeting (etwas auswählen oder fokussieren) spricht für Gaze. Manipulation (etwas bewegen, drehen, skalieren) spricht für Gesten. Kommunikation (Befehle, Suche, komplexe Eingaben) spricht für Voice.

2. Wie oft und wie lange wird diese Interaktion ausgeführt? Häufige, kurze Interaktionen vertragen Gesten gut. Lang anhaltende oder wiederholte Gesten führen zu Gorilla Arm und sollten durch Gaze plus kurze Bestätigungsgeste ersetzt werden.

3. In welchem sozialen Kontext findet die Nutzung statt? Private, kontrollierte Umgebungen erlauben Voice als primäre Modalität. Öffentliche Umgebungen verlangen nach Gesten oder Gaze als primäre Eingabe, mit Voice höchstens als optionale Ergänzung.

Wie bei jedem Designframework gilt: Diese Kriterien ersetzen kein Usability Testing. Was in der Theorie als richtige Kombination erscheint, muss in der Praxis mit echten Nutzer:innen in echten räumlichen Kontexten überprüft werden, gerade weil AR-Interaktion stärker als jede andere Interfaceform vom physischen Umfeld abhängt.

Take Away Message

AR Interaction Design ist kein Wettbewerb zwischen Gesten, Voice und Gaze, sondern die Aufgabe, für jede Interaktion die strukturell passende Modalität oder Kombination zu finden. Gesten sind stark für direkte Manipulation, aber körperlich limitiert. Voice ist freihändig, aber sozial voraussetzungsreich. Gaze ist die schnellste Targeting-Methode, aber ohne Bestätigung unbrauchbar wegen des Midas-Touch-Problems. Die Antwort, die sich in der Praxis durchgesetzt hat, kombiniert alle drei: Gaze zum Zielen, Geste zur Bestätigung, Voice für das, was keine der beiden anderen Modalitäten effizient ausdrücken kann.