Finanzielle Risiken durch Testing-Fehler, Version 1

Alte Version

Dies ist eine alte Version des Inhalts in unserem Archiv. Besuchen Sie die aktuelle Version dieser Seite.

Diese Version wurde von Andreas Hackl am 9. Aug. 2012 um 09:38 Uhr erstellt.
Bemerkung des Bearbeiters: Erste Version

Änderungen gegenüber vorheriger Version anzeigen


André Morys hat auf KonversionsKRAFT in einem Artikel fünf Testing-Fehler zusammengestellt, die sich im Nachhinein finanziell negativ auf ein Projekt auswirken können.

So beschreibt er zunächst, dass Testen nicht Optimieren bedeutet. Das Testen basiere auf begründbare Hypothesen, was sein könnte und nicht was sein wird, dementsprechend soll man Testing-Tools nicht für das Ausprobieren ausnutzen. Darauf aufbauend ist auch der zweite Punkt, dass Testergebnisse nicht die Realität widerspiegeln. Gemessene Werte eines Tests sind das Resultat eines Experiments, so Morys, und seien allenfalls als Indikator auszulegen.

Der dritte Punkt greift ein Interpretationsmissverständnis in puncto Konfidenzlevel bzw. Chance to beat Original (CTBO) auf. Dieser Wert gibt an wie hoch die Wahrscheinlichkeit ist, dass die "Siegervariante besser performt als das Original". Nicht die Wahrscheinlichkeit, dass der berechnete Uplift, einer Kennzahl zur Absatzsteigerung, eintrifft.

Des Weiteren solle man sich von einem guten Testergebnis nicht dazu verleiten lassen, dass auch im produktiven Bereich alles besser werde. Für ein Optimum benötige man eine gute Kombination aus diversen Testmethoden, ausgearbeitete Konzepte und "Zeit, Traffic, Test, Geduld und auch Niederlagen". Wobei Niederlagen näher betrachtet nicht welche sein müssen. Morys empfiehlt eine Segmentierung des Test-Traffics, um daraus Nutzerprofile (als Beispiel werden Erstbesucher genannt) auszuarbeiten. So kann ein Ergebnis oberflächlich ein Misserfolg sein, näher betrachtet bei einem Teil der Nutzer jedoch erfolgreich sein.