Lean Startup: Sieben Maßnahmen zur Durchführung hocheffektiver Experimente (Teil 2)

In jedem Startup werden Experimente durchgeführt. Die Frage ist, wie gut sie sind. Im ersten Teil dieses Artikels hat der Autor dem Build-Measure-Learn-Zyklus einen Planungsschritt vorangestellt und erste Maßnahmen diskutiert, um Experimente so effektiv wie möglich zu organisieren. Dieser zweite Teil knüpft daran nahtlos an.

4. Aktionen statt Worte messen

Lernexperimente können wie Probleminterviews etwas herausfordernd sein, weil qualitatives Lernen subjektiv sein kann. Frag einen beliebigen Entrepreneur, wie ein Kundentelefonat lief, und normalerweise fanden es alle positiv. Statt zu versuchen, qualitativ einzuschätzen, was Nutzer sagen, oder Teile der Konversation zu bewerten, sollten wir einfach messen, was sie tun (oder getan haben).

Dekonstruieren wir die Problem- und Solution-Interviews in Running Lean, werden wir sehen, dass ihnen diverse Call-to-Actions innewohnen. Die Dinge dazwischen drehen sich darum, wie ich neue Hypothesen generiere (Schätzungen), aber die Call-to-Actions sind es, die diesen Schätzungen Sicherheit verleihen.

Problem Solution Interviews

5. Annahmen zu falsifizierbaren Hypothesen machen

Desweiteren reicht es nicht aus, Ergebnisse einfach vorab zu formulieren. Wir müssen sie falsifizierbar machen; es muss also überprüfbar sein, dass sie falsch sind. Es ist extrem schwierig, eine vage Theorie zu falsifizieren. Die meisten Annahmen auf unserem Lean Canvas beginnen nicht als falsifizierbare Hypothesen, sondern als Vertrauensvorschüsse.

Zum Beispiel:

Ich glaube, dass es Early Adopters zu meinem Produkt treibt, wenn ich für einen Experten gehalten werden.

Um aus Vertrauensvorschüssen falsifizierbare Hypothesen zu machen, müssen wir sie wie folgt umschreiben:

[Spezifische testbare Aktion] wird zu [erwartetes messbares Ergebnis] führen.

Aus dieser Vorlage können wir etwas wie Folgendes machen:

Das Schreiben eines Blog-Post wird zu > 100 Sign-ups führen.

In dieser Formulierung des erwarteten Ergebnisses fehlt noch etwas. Finden Sie heraus, was es ist?

6. Timeboxen für Experimente etablieren

Sagen wir, wir führen ein Experiment durch und entscheiden uns, es in einer Woche zu überprüfen. Nach einer Wochen haben wir 20 Sign-ups. Wir könnten entscheiden, dass dies ein guter Anfang ist, und lassen das Experiment eine weitere Woche laufen. Nun haben 50 Sign-ups, was der Hälfte unseres erwünschten Ziels von 100 entspricht. Was sollten wir nun tun?

Wenn sie allzu optimistisch sind, tappen Entrepreneure für gewöhnlich in die Falle, das Experiment - in der Hoffnung auf bessere Resultate - "noch ein bisschen länger" laufen zu lassen. Das Problem dabei ist, dass aus diesen Wochen Monate werden.

Denken wir daran, dass Zeit – und nicht Geld oder Leute – unsere wertvollste Ressource ist. Die Lösung ist Timeboxing für Experimente. Das erwartete Ergebnis könne wir so umschreiben:

Das Schreiben eines Blog-posts führt zu > 100 Sign-ups innerhalb von zwei Wochen.

Diese getimeboxten Zahlen sind nicht aus der Luft gegriffen. Sie kommen von unserem Traction-Modell.

Randbemerkung: Unser Lean Canvas erzählt die Geschichte unseres Geschäftsmodells, während das Traction-Modell den erwünschten Output dieser Geschichte beschreibt. Wie beim Lean Canvas geht es darum, präzise dahingehend zu sein, wie wir in diesem Kontext das Outcome unseres Geschäftsmodells mithilfe von nur einer handvoll Metriken messen können – statt in einem Meer aus Zahlen zu ertrinken.

Mit anderen Worten: Das Traction-Modell ist im Vergleich zum finanziellen Modell das, was das Lean Canvas im Vergleich zum Business-Plan ist.

Traction-Modell

Ich werde in künftigen Artikeln die Entwicklung eines Traction-Modells ausführlich diskutieren.

7. Immer mit Kontrollgruppen arbeiten

Um zu sagen, ob ein Experiment funktioniert, müssen wir in der Lage sein, es gegen ein früheres Stadium zu benchmarken. Das wissenschaftliche Äquivalent wäre die Etablierung einer Kontrollgruppe. Unsere täglichen, monatlichen und wöchentlichen Metriken sind ein vertretbarer Ausgangspunkt. Diese zeitbasierten Batches bilden Benchmarks, die zu schlagen wir mit unseren Experimenten anstreben sollten.

Das ist eine Art des seriellen Split-Testings und in der Regel akzeptabel, wenn wir entweder nicht viele Nutzer haben oder nicht zeitgleich überlappende Experimente durchführen.

Lean Startup Kontrollgruppen

Wenn das nicht der Fall ist, besteht der Standard-Äquivalent zu einer Kontrollgruppe in parallelem Split-Testing. Dabei setzen wir nur eine Untergruppe der User-Population einem Experiment aus und vergleichen die Resultate mit denen der restlichen Population (Kontrollgruppe), um Fortschritt (oder nicht) festzustellen. Das wird auch A/B-Test genannt.

Lean Startup Kontrollgruppen 2

Zum Schluss: Wenn wir genug Traffic haben, um mit mehr als einer möglichen Alternativlösung zu testen, können wir A/B/C-Tests (oder mehr) durchführen, in denen wir multiple Strategien gegen alle anderen antreten lassen.

Lean Startup Kontrollgruppen 3

Wie merken wir uns das alles?

Neben dem einseitigen Strategy Proposal gibt es auch einen Experiment Report, der auf einer Seite Platz findet. Zuerst halten wir Ideen mithilfe von Strategy Proposals fest und teilen sie. Ausgewählte Ideen werden dann mithilfe eines oder mehrerer Experimente getestet, die im Experiment Report beschrieben sind. Statt sich diese sieben Verhaltensweisen merken zu müssen, beinhaltet der Experiment Report sie und funktioniert damit gleichermaßen als Checkliste und Werkzeug zum Teilen von Ideen.

Experiment Report

Anders als das Strategy Proposal füllen wir diesen Report nicht auf einmal aus, sondern schrittweise – dem Build-Measure-Learn-Zyklus für Experimente folgend. In kommenden Artikeln werde ich zeigen, wie wir Lean Canvas, Strategy Proposal und Experiment Report nutzen, um Ideen in getimeboxten LEAN Sprints zu generieren, einzugrenzen und zu testen.

Den Experiment Report können Sie als PDF herunterladen, wenn Sie auf Ash Mauryas LeanStack.com registriert sind.

Oder erstellen Sie selbst einen im Lean-Stack-Online-Tool.

Dieser Artikel wurde im Original am 10. September 2015 unter dem Titel The 7 Habits for Running Highly Effective Experiments von Ash Maurya veröffentlicht. Ash Maurya gehört zu den führenden Köpfen der internationalen Gründerszene und ist einer der renommiertesten Experten für Lean Startup und Customer Development. Seinen Weblog finden Sie unter http://leanstack.com. Die Website seines Unternehmens Spark59 erreichen Sie unter http://spark59.com. Mehr Fachartikel bietet unser Lean-Special.