Po przeprowadzonej kampanii, marketerzy zastanawiają się czy i jaki ich akcja przyniosła zysk. Podsumowując zrealizowane dotychczas projekty i planując kolejne działania, próbują znaleźć odpowiedź na to nurtujące pytanie. Na różne sposoby wyliczają efektywność. Zwykle im większy efekt, tym mniejsza skłonność do refleksji, czy ich metoda kalkulowania efektywności jest w ogóle prawidłowa. Do tego dochodzą pewne oczywiste, choć wciąż często popełniane błędy i w ten oto sposób nadinterpretacja wyników gwarantowana. Czy istnieje zatem niezawodny sposób, który jasno mówi, jak powinno się liczyć efekt akcji?
Błędna ocena efektu akcji
Oto prosty przykład do zobrazowania idei. Załóżmy, że organizujemy akcję, nagradzającą wszystkich klientów, którzy zgodzili się na otrzymywanie e-maili marketingowych. Każdy, z kim możemy się w ten sposób kontaktować, otrzyma e-mailem bon rabatowy na kwotę 20 zł. Pomysł spotyka się z aprobatą. Kryteria selekcji są proste. Akcja jest szybko realizowana. Tak szybko, że nie wystarczyło czasu na przemyślenie sposobu, w jaki będzie mierzony jej efekt. Jakoś wypadałoby go jednak zmierzyć. Przecież można dokonać porównania sprzedaży w grupie, która otrzymała kupon do grupy, która nie została zakwalifikowana do tej akcji. No właśnie. Przecież to proste.
Przy bazie liczącej 100 tys. konsumentów wygenerowaliśmy 2700 dodatkowych transakcji (2,7%*100000 = 2700) oraz podwyższyliśmy wartość 2400 transakcji
o 5,12 zł (2,4%*100000 = 2400). Łączny wygenerowany obrót wyniósł więc 301 tys. zł. Koszt wykorzystanych bonów wyniósł 102 tys. zł (5100 * 20 zł = 102000).
A więc sukces. Czyżby?
Takie rozwiązanie jest bardzo uproszczone. Właściwie można byłoby nawet użyć określenia naiwne i zniekształca (zazwyczaj zawyża) inkrementalny efekt akcji. Powyższy sposób liczenia pomija bowiem jeden istotny szczegół. Porównywane grupy różnią się od siebie i to nie tylko faktem otrzymania bonu. Grupa z bonem otrzymuje komunikację e-mail, podczas gdy grupa bez bonu zwyczajnie takiej komunikacji nie otrzymuje. Założenie, że grupa, która wyraziła zgodę na komunikację za pośrednictwem poczty elektronicznej będzie bardziej skłonna do dokonywania zakupów, nawet jeśli nie otrzyma bonu, jest wiarygodne. Jeżeli założylibyśmy odwrotnie, oznaczałoby to , że komunikacja nie ma wpływu na sprzedaż, a przecież wiemy, że tak nie jest.
Po pierwsze: zawczasu zaplanuj sposób analizy efektów
Co więc w tej sytuacji zrobić? Najlepszy podejściem, byłoby zaplanowanie sposobu analizy efektów jeszcze przed uruchomieniem akcji. Dzięki temu, spośród wszystkich klientów spełniających kryteria można wylosować odpowiednio liczną grupę kontrolną. Grupa ta nie otrzymała by bonu. Byłaby to jedyna istotna różnica w stosunku do grupy otrzymującej bon. Dzięki temu grupa kontrolna stanowiłaby lepsze i wiarygodniejsze tło do porównania. Podobna akcja rzeczywiście została przeprowadzona dla jednego z naszych klientów, jednak jej efekty zostały zmierzone poprawnie. Jeszcze przed przystąpieniem do wysyłki, wyłoniliśmy spośród osób ze zgodą na komunikację za pośrednictwem poczty elektronicznej, odpowiedni volumen grupy kontrolnej. Wyniki poprawnego porównania widoczne są w tabeli poniżej.
Wciąż widoczna jest pozytywna różnica w odsetku grupy z transakcją. Jednak jest ona o wiele niższa w przypadku poprzedniego porównania i wynosi tylko 0,8% Według nowych szacunków wygenerowaliśmy 800 dodatkowych transakcji (0,8%*100000 = 800) oraz podwyższyliśmy wartość 4300 transakcji o 7,79 zł (4,3%*100000 = 4300 transakcji). Tak jak w poprzednim przypadku koszt wykorzystanych bonów wyniósł 102 tys. zł (5100 * 20 zł = 102000). Łączny wygenerowany obrót wyniósł więc 119 tys. zł (85,5 tys. zł + 33,5 tys. zł). Był więc niewiele wyższy niż koszt udzielonego w związku z tą akcją rabatu. Trudno więc ogłaszać sukces. Należy natomiast wyciągnąć wnioski i przy planowaniu kolejnych akcji dokonać odpowiednich zmian (np. lepiej dobrać wartość rabatu, przyjąć inne kryteria doboru klientów). Czy jednak należy wyciągnąć też wniosek, że zawsze przy tego rodzaju analizach trzeba stosować opisaną metodę – eksperyment oparty o losowe grupy kontrolne (zwany także testem A/B)? Tak, ale…
Co, gdy nie da się wyodrębnić grupy kontrolnej?
Niestety takie podejście nie zawsze jest wykonalne. I to jest jego główna wada. W pewnych sytuacjach występują ograniczenia prawne (np. interpretacja przepisów, która ogranicza możliwość dyskryminacji klientów i nakazuje przyznanie benefitów wszystkim, którzy spełniają określone kryteria), a także ograniczenia marketingowe. Na przykład firma może nie chcieć narażać się na ryzyko wywołania niezadowolenia u klientów, którzy w ramach eksperymentu zostaną odcięci od możliwości uzyskania benefitu. Ryzyko tym większe im wyższa w oczach klientów wartość benefitu. Czy więc w takich sytuacjach jesteśmy skazani na fałszujące obraz uproszczone podejście lub musimy w ogóle zrezygnować z analizy efektów akcji marketingowej?
Kim są statystyczni bliźniacy?
Niekoniecznie. Na szczęście nie musimy zakładać tak drastycznych scenariuszy i rezygnować z mierzenia efektów przeprowadzanych kampanii. Istnieją zaawansowane metody statystyczne, które pozwalają nawet bez grupy kontrolnej wyestymować rzeczywisty efekt. Metody te, mówiąc w uproszczeniu, opierają się o poszukiwanie bliźniaków statystycznych. Bliźniacy statystyczni to klienci o jak najbardziej zbliżonych cechach, wśród których tylko jeden był poddany działaniu bodźca: został objęty promocją, wysłaliśmy mu smsa, wyświetliliśmy mu reklamę online, czy podjęliśmy wobec niego inne działania mające na celu zachęcenie go do skorzystania z naszej oferty. Powstaje w ten sposób syntetyczna „grupa kontrolna” złożona z jednego bliźniaka z każdej pary, tego który nie brał udziału w akcji. Wyzwaniem jest w tym wypadku identyfikacja kluczowych zmiennych gwarantujących podobieństwo grup. Jednak odpowiednie oprogramowanie komputerowe pomaga przeprowadzić ten proces. Otwiera to nowe możliwości analizy danych i optymalizacji decyzji w sytuacjach, w których przeprowadzenie zrandomizowanego eksperymentu nie jest możliwe, bądź jest trudne lub nieopłacalne.
Jak widzimy, zdarza się, że efekty przeprowadzanych akcji marketingowych są albo źle liczone, albo wyniki są nadinterpretowane. Dlatego jeszcze przed przystąpieniem do realizacji kampanii, należy ustalić w jaki sposób zamierzamy badać jej skutki. Zaawansowane metody statystyczne oraz machine learning pomagają w wielu problematycznych sytuacjach, takich jak chociażby brak możliwość skompletowania optymalnej grupy kontrolnej.
