Einer der Gründe, warum der wirkliche Fortschritt im Hinblick auf ein Produkt schwer zu messen ist, ist der, dass wir lieber gute Nachrichten als schlechte überbringen. Wir mögen Charts, die nach rechts oben zeigen, was an sich noch nichts Schlechtes ist, bis wir anfangen, Charts zu ersinnen, die ausschließlich nach rechts und oben gehen können.
In der Lean-Startup-Welt bezeichnen wir solche Charts als Vanity-Metriken. Aber nicht alle Charts, die so konstruiert wurden, dass sie nach rechts und oben gehen, sind schlecht.
Erstens, um fair zu sein: Es gibt einen Platz für Vanity-Metriken. Oft werden sie mit großem Effekt auf Marketing-Websites eingesetzt, um Social Proof aufzubauen und sich von der Konkurrenz abzuheben. Sie geraten dann in Schwierigkeiten, wenn Sie dieselben Metriken auch nutzen, um intern den Fortschritt zu messen.
Noch wichtiger: Ein sensibler Punkt, der oft vergessen wird, ist der, dass nicht die Metrik an sich, sondern die Art, wie wir messen, darüber entscheidet, ob wir eine Vanity-Metrik haben oder ob sie wirklich brauchbar ist. Beispielsweise ist es nicht per se falsch, Seitenbesucher, Sign-ups, die Anzahl der Downloads oder den Umsatz messen.
All diese Angaben öffnen den Kundentrichter und können hilfreiches Wissen liefern, wenn man einen Problembereich angeht. Sie kriegen jedoch Probleme, wenn Sie diese Metriken entweder unzulänglich messen (mehr dazu gleich) oder aber in einem Meer von Mikro-Metriken ertrinken.
Hier sind zwei einfache Ansätze, um das zu vermeiden.
1. Metriken in Batches messen, damit sie belastbar sind
Der Grund, warum kumulierte Zahlen zu Schwierigkeiten führen, ist offensichtlich. Es sind Zahlen, die stagnieren, aber nie nach unten gehen können. Der Grund, warum aggregierte Metriken zu Herausforderungen führen, ist jedoch nicht so offensichtlich.
Das aggregierte Messen der Nutzer ist problematisch, weil der Kunden-Lebenszyklus ein langer Trichter ist. Während dieser Zeit verändert sich Ihr Produkt mit jeder Feature-Auslieferung und jeder Marketing-Kampagne kontinuierlich. Das macht es schwer, Langzeitursachen und -effekte abzuleiten – das eigentliche Ziel beim Zusammenführen belastbarer Metriken.
Sie müssen in der Lage sein, beobachtete Ergebnisse auf spezifische und wiederholbare Aktionen herunterzubrechen.
Auf der Metapher von der Kundenfabrik aufbauend, können Sie Kausalität noch rigoroser derivieren, indem Sie den Ausstoß Ihres langen Kundentrichters in Batches betrachten. Die einfachste Möglichkeit ist die zeitbasierte.
Sie gruppieren User in tägliche, wöchentliche und monatliche Gruppen (basierend auf dem Sign-up-Datum) und messen jede Nutzer-Aktion innerhalb dieser Gruppen.
User, die im selben Zeitfenster starten, haben Nutzererlebnisse mit dem Produkt, die ähnlich genug sind, um eine Zusammengruppierung zu rechtfertigen. Zusammen etablieren sie eine Benchmark, die verblüffend ist.
Ich nenne dies den Murmeltiertag-Effekt.
2. Metriken organisieren, um nicht in Zahlen zu ertrinken
Metriken sind nicht gleich Metriken. Es ist wichtig, sie in Makro- und Mikro-Metriken zu unterscheiden, um nicht in einem Zahlenmeer zu ertrinken.
Makro-Metriken sind nützlich fürs Lernen, während Mikro-Metriken bei der Optimierung und Problemlösung helfen.
Makro-Metriken helfen, ein High-Level-Modell Ihres Kunden-Lebenszyklus’ zu entwickeln, das genutzt werden kann, um das Produkt zu benchmarken. Ich bin ein großer Fan von Dave McClures Piraten-Metriken. Zwar ist dieses Modell aus dem Software-Bereich hervorgegangen, aber ich finde, dass sich diese Makro-Schlüsselereignisse auf eine breite Palette von Geschäftszweigen anwenden lassen.
Im zweiten Teil des Artikels zeigt Ash Maurya, wie diese Anforderungen in die Praxis umgesetzt werden können.
