Bei uns spielen Interviews mit Kunden eine zentrale Rolle. Denn: wenn man einmal weiß, wie man zielgruppengerecht Zugriff auf Interviewpartner bekommt, sind Interviews ein guter und einfacher Weg, den Kunden kennenzulernen, ohne gleich den ganzen Laden umkrempeln zu müssen. Dabei verfolgen wir mit den Interviews in unterschiedlichen Phasen unterschiedliche Absichten. Da wir es kulturell eher gewohnt sind, mit quantitativen als mit qualitativen Erkenntnissen umzugehen, kommt uns gegenüber immer wieder die – berechtigte – Frage auf: “Wie viele Interviews müssen wir führen?” Und: “Wann sind meine Ergebnisse valide?”

Interview != Interview

Um die Fragen zu beantworten, lohnt es sich, erst einmal eines unserer Lieblingskonzepte anzuschauen, den Knowledge Funnel von Roger L Martin. Hier gibt es drei sich wesentlich unterscheidende Phasen im Lebenszyklus eines Produktes, die uns vor grundsätzlich andere Herausforderungen und damit Fragestellungen und Arbeitsweisen stellen. Im oberen Teil des Trichters versuchen wir, erst neue Probleme von Kunden zu entdecken, die wir lösen können. So versuchen wir, das Problem und seinen Kontext zu verstehen. Das kann aber nur in einer kleinen Kundengruppe gut funktionieren – ansonsten ist unser Ausgangspunkt gleich wieder ein Kompromiss und eben nicht valide. Im mittleren Teil versuchen wir, Heuristiken zu finden, mittels derer wir einer skalierenden Lösung näher kommen. Am unteren Ende des Trichters haben wir letztlich so viel Wissen gesammelt und so viel experimentiert, dass wir nun beginnen können, ein Rezept auszubeuten, das bereits gut skaliert. Hier geht es nun um die weitere Optimierung des Lösungsrezeptes. Und das heißt meistens, das Rezept so zu verallgemeinern, dass das Produkt im Hintergrund bleibt. (Siehe “Gute Produkte sind nicht eitel”)

Um die Frage zu beantworten, wie viele Interviews wir brauchen, um ‘valide’ zu sein für die unterschiedlichen Kontexte, hangeln wir uns den Knowledge Funnel von oben (Hunch) nach unten (Algorithm) herunter.

The Knowledge Funnel

Valide Probleme und Wünschbarkeit entdecken

Wenn wir ein neues Produkt konzipieren, wollen wir erst einmal ein Problem entdecken, das es sich zu lösen lohnt; ein Problem, dessen Lösung erst einmal hart genug ist, um im Markt “Wünschbarkeit” (Desire) auszulösen. Hier ist die Aufgabe im Interview also erst einmal, den Kunden und seinen Kontext kennenzulernen, um herauszufinden, welche Probleme wir noch für ihn lösen können. Wenn wir nun einen Interviewleitfaden aufstellen, fällt es auf, dass wir in dieser Phase keinerlei konkrete Fragen stellen können – wir wissen einfach zu wenig vom Kontext. Daher fallen uns konkrete Fragen gar nicht erst ein. In dieser Phase müssen wir sehr allgemeine, offene Fragen stellen, die den Kunden dazu bringen, konkrete Geschichten und Erfahrungen zu erzählen, etwa: “Wie war das, als sie das letzte mal ein Auto gekauft haben?”, “Können Sie uns erzählen, wie die Diskussion in Ihrer Familie weiterging?”.

Bei diesen Interviews lassen wir uns von der Empathie leiten und bringen den Kunden ins Erzählen. Drei bis fünf 3–5 Interviews sind ein guter Richtwert, um die Witterung aufzunehmen. Durch gegenseitiges Spiegeln des Interviews versuchen wir, Muster zu erkennen, hier nutzen wir aus, dass der Mensch eine ganz gute Mustererkennungsmaschine ist. Die groben Muster sind nach ein paar Interviews gesättigt. Danach arbeiten wir das ganze formaler auf und leiten Beobachtungen und Bedürfnisse ab. Jetzt haben wir einen ganz guten Eindruck davon, wie wir den Kunden grob helfen können und was im Gegensatz dazu überhaupt nicht sein Problem ist.

Wir haben also die Ableitung eines validen Problems für ein relativ kleines Kundensegment und dabei die Wünschbarkeit für eine kleine Gruppe validiert. Damit haben wir vor allem Erkenntnisse auf qualitativer Ebene. Vor allem aber: Durch die Empathiearbeit können wir das Problem jetzt fast nur noch aus Kundenperspektive denken und nehmen einen vollkommen anderen Standpunkt ein, den wir vorher gar nicht haben konnten, und das ist der eigentliche Wert der Übung!

Manchmal führen wir die Interviews nicht selber, sondern lassen uns die Eindrücke von guten Interviewern schildern. Die Mustererkennung funktioniert auch dann und die Gefahr, den Kunden in eine Lösungsrichtung zu beeinflussen, fällt weg.

Will Evans (@semanticwill) hat dazu folgendes Slide gebaut, das das recht gut ausdrückt: Ohne Interview haben wir keine Erkenntnis, irgendwann nimmt die Steigerung an Erkenntnissen aber auch wieder ab.

Insights per Interview by Will Evans, semanticwill

Noch einmal als Wiederholung: Das Ganze funktioniert mit wenigen Interviews, weil es um Problemerkennung und Perspektivwechsel geht.

Der Lösung näher kommen

Nach dieser Phase können wir uns Lösungen für die erkannten Probleme und Bedürfnisse ausdenken und iterativ verfeinern. (Ein Unterschied zur ersten Phase: Jetzt sind schnelle Iterationen toll. In Phase 1 zählt Tiefe, jetzt zählt Feedbackgeschwindigkeit.) Dabei können wir für nächste Interviews Lösungsskizzen und Detailfragen stellen, Alternativen diskutieren usw. Die zweite Interviewrunde wird detaillierter. Hier können wir hochgradig iterativ vorgehen und wiederum pro Interviewrunde sehr wenige Interviews führen. Die Interviews können jetzt auch recht kurz werden. Hier ist es wichtig, dass die Prototypen noch sehr Lo-Fi (also grob und rau) sind, damit die gute Gestaltung nicht ehrliches Feedback zur Wünschbarkeit verhindert.

Ganz unten im Knowledge Funnel machen wir etwas ganz anderes: Hier validieren wir Rezepte, d.h. bereits bestehende Lösungen und optimieren diese. Hier stellen wir auch ganz konkrete Fragen, bis hin zur Task Completion (“Versuchen Sie doch mal, in diesem Flow einen VW Golf zu kaufen!”). In diesem Bereich haben wir auch eine hohe Vergleichbarkeit zwischen Interviewgruppen und können feststellen, ob unser Rezept nach einer Veränderung besser oder schlechter funktioniert. Interviewpartner können hier auch konkret im Zielmarkt rekrutiert werden. Die Prototypen sind jetzt Hi-Fi (also hochwertig und detailgetreu), um möglichst viel Kontext aus dem Produkt zu transportieren. Man beachte aber auch, dass es Fragen gibt, die so nicht aufgelöst werden können, etwa, ob der Kunde den Kontext des getesteten Flows erkennt. Das schöne an diesen UX-Interviews ist, dass sie konkret und leicht zu formulieren sind und sich so gut in den eigentlichen Entwicklungsprozess einbauen lassen.

Und man kann natürlich noch wunderbar A/B-testen, indem man parallel Lösungen live stellt – so hat man letztlich die größte und konkreteste Validierung.

Jede dieser Testmethoden hat ein unterschiedliches Ziel und wird zu unterschiedlichen Zeiten mit unterschiedlichen Methoden durchgeführt. Es ist wichtig, sich darüber im Klaren zu sein und sie nicht mit einander zu vermischen. Erkenntnisse aus UX-Tests geben einem keine Hinweise auf neue Probleme und neue Produktmöglichkeiten. Es muss klar unterschieden werden, ob wir im Bereich der

Validierung eines Problems oder der Optimierung einer Lösung sind.
Dabei sind freundliches Feedback wegen zu guter Prototyen und unser eigener Solution Bias die größten Gefahren.

Der Verlauf der Interviewmethoden entlang des Knowledge Funnel sieht also wie folgt aus:

Interviewtechniken gemappt auf den Knowledge Funnel

Eine schlechte Nachricht am Ende: UX Tests bringen keine Conversion-Optimierung und neue Kunden, wenn das eigentliche Problem nicht bereits gelöst ist. UX Testing ist Optimierung einer bestehenden Lösung. Wir beobachten viele Firmen dabei, wie sie aus UX Testing die Silver Bullet zum Erfolg erwarten. Das ist das falsche Mittel zur falschen Zeit: Ein weiteres Missverständnis, das potentiell zu UX Utopia führt.

Titelbild:  Some rights reserved by robinkristianparker - flickr