Kategoria: Blog

Tradycyjne podejście do pomiaru satysfakcji klienta oparte o badania ankietowe przestaje być wystarczające. Korzystając z bogactwa dostępnych danych, przedsiębiorstwa już dziś przełamują ograniczenia dostępnych metod. Predykcja satysfakcji klienta oparta o dane i proaktywne działania podejmowane na jej podstawie to przyszłość tego obszaru.

Satysfakcja klientów jest kluczowa dla utrzymania ich lojalności i stanowi fundament rozwoju biznesu na konkurencyjnym rynku. Nic więc dziwnego, że już od dawna temat ten jest przedmiotem zainteresowania specjalistów z zakresu marketingu. Owocami tego zainteresowania jest wiele opisywanych w literaturze i stosowanych w praktyce metodyk mierzenia satysfakcji klienta. Wśród najpopularniejszych wymienić można m.in. Customer Satisfaction Score, Customer Effort Score czy Net Promoter Score (NPS). Cechą wspólną najpopularniejszych podejść jest ich oparcie o ankiety, w których konsumentowi zadawane są odpowiednio przygotowane pytania (bądź nawet tylko jedno pytanie). Należy podkreślić, że pomiar i analiza satysfakcji klientów przy pomocy wspominanych badań w wielu przypadkach okazywały się skuteczne. Były i są one istotnym elementem sukcesu rynkowego wielu przedsiębiorstw. Metody te nie są jednak pozbawione wad. Według badania przeprowadzonego przez McKinsey&Company wśród najczęściej wymienianych przez specjalistów z obszaru CS/CX pojawiają się:

• ograniczony zasięg
• opóźnienie informacji
• niejednoznaczność odpowiedzi utrudniająca podejmowanie na ich podstawie działań

Ograniczony zasięg

Według przytaczanego wcześniej badania typowa ankiety satysfakcji zbierają odpowiedzi od nie więcej niż 7% klientów firmy. Przyczyny tego są wielorakie. Wśród nich wymienić można ograniczenia budżetowe (koszt badania),  brak dostępnego kanału komunikacji z klientem lub brak zgody na komunikację, niskie zainteresowanie klientów udzielaniem odpowiedzi na pytania. Co istotne, skłonność do odpowiedzi na ankietę może być różna w zależności od pewnych cech czy doświadczenia klienta (np. niezadowoleni mogą odpowiadać chętniej). Stawia to pod dużym znakiem zapytania reprezentatywność otrzymywanych wyników i możliwość ich generalizacji na całą bazę konsumentów firmy.

Opóźnienie informacji

Ankiety ze swojej natury są opóźnione w stosunku do zjawiska, które badają. Uniemożliwia to podejmowanie działań wyprzedzających. Działania wobec niezadowolonego klienta możemy podjąć dopiero po tym jak wypełni on ankietę. Praktycy z obszaru satysfakcji klienta często podkreślają jak dużą rolę odgrywa czas reakcji na problematyczne doświadczenia. Doskonały system pomiaru satysfakcji powinien działać w czasie zbliżonym do rzeczywistego. Dzięki temu możliwe będzie podjęcie natychmiastowych działań dla rozwiązania problemu klienta czy zatarcia złego wrażenia, jakie powstało w jego świadomości. Idealnie byłoby przewidywać narastające niezadowolenie klienta zanim ujawni się ono w postaci negatywnej oceny w ankiecie bądź pełnym nerwów kontaktem z obsługą klienta. Takiej możliwości nie ma w systemach pomiaru opartych wyłącznie o ankiety.

Dodatkowe opóźnienia w zbieraniu informacji wynikają z ograniczonej częstotliwości, z jaką można zadawać konsumentowi pytania. Zazwyczaj ankiety przeprowadza się po zakończeniu pewnego etapu podróży konsumenta np. po transakcji. Często nie ma możliwości zadawania pytań we wcześniejszych krokach, na których także mogą pojawić się problemy wpływające negatywnie na doświadczenie klienta. W skrajnym przypadku negatywne doświadczenie np. przy składaniu zamówienia może zakończyć się tym, że do transakcji w ogóle nie dojdzie. Jeśli ankietujemy tylko po transakcji, to w takiej sytuacji nie uzyskamy żadnej informacji, gdyż konsument nie spełni kryterium (transakcja) do otrzymania ankiety.

Oczywiście zdarzają się firmy, w których procesy ankietowe nie są poddane takim ograniczeniom. Firmy te ankiety przeprowadzają po każdym etapie podróży klienta i za każdym razem, kiedy klient wchodzi w interakcję z firmą. Należy jednak pamiętać, że ankieta może być postrzegana przez klienta jako narzędzie inwazyjne. Już sama nadmierna liczba ankiet może więc wpływać negatywnie na jego doświadczenie. Stąd konieczne jest zachowanie rozsądnego balansu pomiędzy częstotliwością ankietowania a chęcią odpowiadania konsumentów. Najlepiej zaś pomyśleć o nieco innym rozwiązaniu, które przedstawimy w dalszej części artykułu.

Niejednoznaczność odpowiedzi utrudniająca podejmowanie
na ich podstawie działań

To ograniczenie jest pochodną dążenia do utrzymania balansu między potrzebami informacyjnymi firmy, a zadowoleniem konsumenta. Wynika zarówno z pokrycia ankietami poszczególnych kroków w consumer journey (opisane wyżej), jak i ograniczeń w długości ankiety. Ankiety krótkie (obejmujące jedno lub kilka pytań) są mało uciążliwe dla konsumenta i mogą też przyczyniać się do lepszego responsu. Sprowadzenie jednak ankiety do jednego pytania może utrudniać zrozumienie, jakie właściwie czynniki wpłynęły na taką a nie inną ocenę konsumenta. Jeśli nie wiemy, co w przypadku tego konsumenta spowodowało negatywną ocenę, trudno jest podjąć na podstawie wyniku jakieś działania mające za zadanie złe wrażenie naprawić.

Podobnie działa ograniczenie liczby momentów, w których zadawane są pytania. Wystawiona przez konsumenta ocena (przykładowo „siedem”) po zakończeniu transakcji jest trudna do przypisania do poszczególnych etapów jego ścieżki. Ustalenie, które etapy spowodowały odjęcie przez konsumenta punktów od maksymalnej noty wymagałoby zadania serii pytań pogłębiających. To wydłuża czas potrzebny na wypełnienie ankiety i zmniejsza szansę na uzyskanie odpowiedzi. Z drugiej strony częstsze ankietowanie (np. po każdy kroku konsumenta) rodzi również opisane wyżej problemy.

Modelowanie predykcyjne jako rozwiązanie

Wykorzystując uczenie maszynowe, możliwe jest zbudowanie modeli zdolnych do przewidywania satysfakcji konsumenta na dowolnym etapie jego podróży do finalizacji transakcji. Wymaga to oczywiście zintegrowania danych z wielu różnych źródeł zazwyczaj obecnych w przedsiębiorstwie. Wymienić tutaj można dane sprzedażowe, z programu lojalnościowego, z biura obsługi klienta, infolinii, strony internetowej, dane finansowe, czy wreszcie dane z dotychczas prowadzonych badań satysfakcji. Dane te są potrzebne na poziomie indywidualnego konsumenta. Wymaga to również posiadania specjalistycznej wiedzy z zakresu data science – potrzeba zespołu zdolnego do budowy i implementacji modeli predykcyjnych. Warto podkreślić, że w rozwiązaniu takim nie rezygnujemy całkowicie z badań ankietowych. Zmieniają one jednak swój charakter. Stają się narzędziem typowo badawczym. Przestają zaś być narzędziem do bieżącego pomiaru satysfakcji.

System działa w ten sposób, że na podstawie danych gromadzonych na bieżąco na temat konsumenta, przewiduje jego aktualny w danym momencie współczynnik satysfakcji. Co więcej wskazuje również jakie czynniki dodatnio a jakie ujemnie na ten wynik wpływają. Pozwala to po pierwsze zidentyfikować klientów, wobec których konieczne jest podjęcie działań, a po drugie zarekomendować konkretne działania, jakie wobec nich trzeba podjąć. Całość pozwala na stałe w czasie zbliżonym do  rzeczywistego przewidywanie satysfakcji klientów i podejmowanie skutecznych działań.

Predykcyjne podejście do satysfakcji klienta to z całą pewnością przyszłość. Firmy, które jako pierwsze na swoim rynku wdrożą tego typu rozwiązania wygrają walkę o klienta. Nawet jeśli zdarzy się jakaś obsługowa „wpadka” (a to w dużych organizacjach nieuniknione) będą w stanie odpowiednio i szybko na nią zareagować. Dzięki sprawnie działającemu systemowi opartemu o predykcję, reakcja może być tak szybka, że konsument nawet nie zdąży pomyśleć o poszukiwaniach konkurencyjnego dostawcy.

Promocja produktu, zwłaszcza związana z obniżką jego ceny, prawie zawsze kończy się wzrostem sprzedaży. Czy jednak każdy wzrost oznacza, że promocja była opłacalna? Jak często promowany produkt odbiera klientów innym substytucyjnym produktom? Jak policzyć ile wynosi rzeczywisty „inkremental” akcji?

Fundamentalne pytanie do rozwiązania wskazanych we wstępie problemów brzmi: co by było, gdyby… A dokładnie: co by było, gdyby nie było promocji. Ile wyniosła by sprzedaż produktu promowanego? Ile sprzedałoby się innych produktów (zwłaszcza produktów substytucyjnych dla promowanego)? Z pozoru wydaje się to niemożliwe do ustalenia. Pytamy w końcu o alternatywną rzeczywistość, której nie jesteśmy w stanie zaobserwować. Nie można jednocześnie wprowadzić promocji i jej nie wprowadzać. Okazuje się jednak, że bazując na postępach statystyki, nauki o danych i badań nad sztuczną inteligencją z ostatnich lat, jesteśmy w stanie w naukowy, metodyczny i rygorystyczny sposób dokonać oszacowania wspomnianych efektów. Stosowana metoda opiera się o tzw. syntetyczne grupy kontrolne. Czyli mówiąc w pewnym uproszczeniu grupy porównawcze tworzone przez specjalny algorytm na podstawie dostępnych obserwacji sprzedaży produktów podobnych.

Przeanalizujemy to na przykładzie zilustrowanym na wykresie poniżej. Czerwona linia pokazuje rzeczywistą sprzedaż produktu (w sztukach). Widać, że przed marcem sprzedaży produktu była śladowa. Widoczny jest też wyraźny cykl tygodniowy ze szczytami w soboty i wyraźnymi spadkami w niedziele (związanymi z zakazem handlu i ograniczoną liczbą punktów, które mogą prowadzić sprzedaż). Można zauważyć też trend wzrostowy sprzedaży od początku marca. Czarna pionowa przerywana linia pokazuje dzień startu promocji. Cena produktu została znacząco obniżona. Widać wyraźny wzrost sprzedaży.

Jasnoniebieska przerywana linia to oszacowane przez algorytm zachowania się sprzedaży promowanego produktu gdyby nie było promocji (rzeczywistość alternatywna). Widać, że nawet bez promocji nastąpiłby wzrost sprzedaży (zgodnie z widocznym od początku marca trendem wzrostowym). Nie byłby on jednak aż tak duży. Można więc przyjąć wniosek, że promocja wygenerowała dodatkową sprzedaż produktu.

Kolejny wykres pokazuje podsumowanie inkrementalnej sprzedaży dla poszczególnych dni. Podobnie jak na wcześniejszym wykresie, czarna pionowa przerywana linia oznacza początek okresu promocji. Większość słupków jest wyraźnie wyższa od zera, co oznacza szacowany wzrost sprzedaży w stosunku do scenariusza bazowego (czyli braku promocji). Okres poprzedzający promocję na lewo od przerywanej linii, to okres kalibracyjny. Na podstawie tego okresu algorytm uczy się najlepszej kombinacji produktów stanowiących grupę porównawczą (tzw. syntetyczną grupę kontrolną). Im słupki w okresie kalibracyjnym bliższe są zeru tym lepiej dopasowana grupa porównawcza. Oczywiście w realnych przykładach (takich jak prezentowany w tym artykule) trudno znaleźć dopasowanie idealne. Stąd słupki odchylają się nieco od 0. Istotne jest jednak to, że skala tych odchyleń jest zdecydowanie mniejsza w okresie kalibracyjnym.  Uprawdopodobnia to wniosek o rzeczywistym dodatnim wpływie promocji na sprzedaż.

W tym miejscu można by zamknąć analizę i pogratulować osobom odpowiedzialnym za promocję. Pojawia się jednak pytanie, na ile promocja przyciągnęła nowych klientów lub zwiększyła popyt u istniejących, a na ile jedynie przesunęła popyt z innych komplementarnych produktów, które nie były w tym okresie promowane. Innymi słowy, na ile promocja skanibalizowała sprzedaż innych produktów.

W celu odpowiedzi na to pytanie przeprowadzimy podobną analizę do zaprezentowanej powyżej. Tym razem jednak czerwona linia będzie oznaczała sprzedaż produktu substytucyjnego do produktu promowanego. Dla tego właśnie produktu chcemy oszacować efekt kanibalizacji.

Podobnie jak wcześniej pionowa czarna przerywana linia oznacza datę początku akcji. Po rozpoczęciu promocji czerwona linia jest niżej od jasnoniebieskiej przerywanej, co oznacza, że produktu substytucyjnego sprzedaje się mniej niż sprzedałoby się go w scenariuszu bazowym zakładającym brak promocji. Warto również zwrócić uwagę, że w okresie poprzedzającym promocję (okresie kalibracyjnym) obie linie są bardzo blisko siebie, co oznacza, że algorytm poprawnie skalibrował grupę porównawczą.

Wykres poniżej podsumowuje efekt kanibalizacji w poszczególnych dniach. Widać, że w każdym dniu okresu promocji produktu sprzedało się mniej w porównaniu do rzeczywistości, w której promocja nie miała by miejsca.

W analizowanym przypadku inkrementalna sprzedaż produktu promowanego wyniosła 407 sztuk. Oceniając akcję promocyjną, trzeba jednak uwzględnić efekt kanibalizacji. W tym przypadku utrata sprzedaży na produkcie substytucyjnym do promowanego wyniosła w okresie promocji 326 sztuk. Nie biorąc pod uwagę tego czynnika, moglibyśmy znacząco przeszacować finansowy efekt akcji i wyciągnąć nieprawidłowe wnioski, co do jej opłacalności. To zaś mogłoby się przełożyć na nieoptymalne decyzje dotyczące organizowania podobnych promocji w przyszłości.

Najlepszym sposobem pomiaru efektów jest przeprowadzenie zrandomizowanego eksperymentu. Nie zawsze jest to jednak możliwe. Trudno wyobrazić sobie, w jaki sposób w tym samym czasie i dla tej samej grupy konsumentów jednocześnie przeprowadzić promocję i jej nie przeprowadzić. W takich sytuacjach nieocenione w analizie marketingowej mogą być nowoczesne metody analityczne oparte o syntetyczne grupy kontrolne między innymi takie jak zaprezentowana w dzisiejszym artykule.

Rotacja klientów jest jednym z kluczowych wyzwań, przed którymi stoją organizacje w czasach obecnie panującej wysokiej konkurencji. Aby skutecznie walczyć z odchodzeniem klientów, firmy powinny znaleźć odpowiedzi na dwa kluczowe zagadnienia: którzy klienci zagrożeni są rezygnacją oraz podjęcie jakich działań może zahamować ten proces.

Z pomocą przychodzi połączenie dwóch metod z arsenału data science: predykcji i klastrowania (segmentacji), które razem zwiększają skuteczność działań retencyjnych.

Kwestię predykcji zagrożenia odchodzeniem klientów, poruszałem już w jednym z artykułów w ramach cyklu We Love Data So Let’s Date. Ze względu na wagę tematu oraz na zainteresowanie, jakie wywołał postanowiłem pogłębić zagadnienie i przedstawić podejście, w którym dzięki połączeniu dwóch metod uczenia maszynowego możemy znacząco ułatwić wdrożenie w życie działań antychurnowych opartych o dane.

Predykcja i segmentacja jako broń w walce z odchodzeniem klientów

Podstawowym narzędziem w przeciwdziałaniu rezygnacji klientów jest model predykcyjny. Pozwala on na przewidywanie prawdopodobieństwa odejścia konkretnego konsumenta. To jednak może nie wystarczyć. Nawet najlepszy model i najdokładniejsza predykcja nie przydadzą się, jeśli na podstawie otrzymanych informacji nie podejmiemy odpowiednich działań.

Odpowiednia interpretacja danych pozwala na planowanie działań i podejmowanie akcji – np. wysyłki komunikatu sms do klientów lub zaoferowanie rabatu na wybrane produkty. Następnie mierzymy wpływ działań (efekt) na zachowania konsumentów i ich skłonność do rezygnacji z dalszego korzystania z oferty.  Pomiar i obserwacja zachowań konsumentów stanowi źródło nowych danych, z których korzystać może model predykcyjny. W ten sposób cykl się zamyka, a obrazuje to poniższy schemat.

Model predykcyjny wskazuje prawdopodobieństwo rezygnacji konkretnego klienta. Pozwala to na priorytetyzację zadań i wykorzystanie ograniczonych zazwyczaj zasobów na konsumentach najbardziej zagrożonych odejściem.  Informacja, że konsument z 75% prawdopodobieństwem odejdzie od nas w ciągu najbliższego kwartału pomaga nam podjąć decyzję, że „coś” z tym musimy szybko zrobić. Czy daje jednak wiedzę co należy zrobić? Skąd firma ma wiedzieć jakie działania podjąć? Kluczem jest właściwa interpretacja danych.

Sytuacją idealną byłaby możliwość podjęcia działań spersonalizowanych pod kątem pojedynczego konsumenta. Czyli każdy klient otrzymałby unikatową dostosowaną do jego potrzeb i problemów ofertę. Modele predykcyjne zbudowane w oparciu o odpowiednio dobrane metody uczenia maszynowego pozwalają na stworzenie indywidualnego profilu każdego konsumenta. Dodatkowo wskazują konkretne czynniki, które w jego przypadku skojarzone są z wyższym ryzykiem odejścia. Pomimo postępów w obszarze hiperpersonalizacji działań marketingowych, dla wielu organizacji wciąż nie jest jeszcze ona osiągalna na dużą skalę. Nie wszystkie działania mogą być równie łatwo automatyzowane. Ograniczeniem może być np. kreacja, produkcja contentu czy budowa oferty.

Rozwiązaniem w takim przypadku jest podejście oparte o zaawansowaną segmentację. Zdecydowanie nie chodzi tu jednak o klasyczne segmenty, które wykorzystują tylko podstawowe zmienne typu wiek czy płeć. Nie różnicują one wystarczająco bazy, a prawdziwe linie podziału przebiegają zupełnie gdzie indziej. Istotne jest więc żeby była to segmentacja behawioralna, w której szukamy podobieństw w zachowaniach klientów, biorąc pod uwagę ten sam szeroki agregat opisujących zmiennych, jaki był wykorzystany do budowy modelu predykcyjnego. Do przeprowadzenia tak kompleksowej segmentacji konieczne są klastrujące algorytmy uczenia maszynowego.

 Procedura może wyglądać następująco:

1. Model predykcyjny pozwala na wyłonienie grupy najbardziej zagrożonych klientów.
2. Decydujemy, że mamy zasoby na działania wobec 20% najbardziej zagrożonych klientów.
3. Wybieramy tych klientów i przy pomocy modelu klastrującego dzielimy ich na segmenty. Ich liczba powinna być wypadkową wskazań modelu oraz zasobów jakimi dysponujemy do ich obsługi (zazwyczaj będzie to ich kilka – kilkanaście).
4. Interpretujemy segmenty i planujemy działania.

Zaproponowana metoda pozwala wykorzystać w praktyce modelowanie predykcyjne i dostarczane przez analizy data science pogłębione zrozumienie konsumentów zagrożonych odejściem. Podejście znajdzie zastosowanie także w  firmach niegotowych jeszcze technologicznie i organizacyjnie na w pełni zautomatyzowane działania hiperpersonalizacyjne.

Po przeprowadzonej kampanii, marketerzy zastanawiają się czy i jaki ich akcja przyniosła zysk. Podsumowując zrealizowane dotychczas projekty i planując kolejne działania, próbują znaleźć odpowiedź na to nurtujące pytanie. Na różne sposoby wyliczają efektywność. Zwykle im większy efekt, tym mniejsza skłonność do refleksji, czy ich metoda kalkulowania efektywności jest w ogóle prawidłowa. Do tego dochodzą pewne oczywiste, choć wciąż często popełniane błędy i w ten oto sposób nadinterpretacja wyników gwarantowana.  Czy istnieje zatem niezawodny sposób, który jasno mówi, jak powinno się liczyć efekt akcji?

Błędna ocena efektu akcji

Oto prosty przykład do zobrazowania idei. Załóżmy, że organizujemy akcję, nagradzającą wszystkich klientów, którzy zgodzili się na otrzymywanie e-maili marketingowych. Każdy, z kim możemy się w ten sposób kontaktować, otrzyma e-mailem bon rabatowy na kwotę 20 zł. Pomysł spotyka się z aprobatą. Kryteria selekcji są proste. Akcja jest szybko realizowana. Tak szybko, że nie wystarczyło czasu na przemyślenie sposobu, w jaki będzie mierzony jej efekt. Jakoś wypadałoby go jednak zmierzyć. Przecież można dokonać porównania sprzedaży w grupie, która otrzymała kupon do grupy, która nie została zakwalifikowana do tej akcji. No właśnie. Przecież to proste.

Przy bazie liczącej 100 tys. konsumentów wygenerowaliśmy 2700 dodatkowych transakcji (2,7%*100000 = 2700) oraz podwyższyliśmy wartość 2400 transakcji
o 5,12 zł (2,4%*100000 = 2400). Łączny wygenerowany obrót wyniósł więc 301 tys. zł. Koszt wykorzystanych bonów wyniósł 102 tys. zł  (5100 * 20 zł = 102000).
A więc sukces. Czyżby?

Takie rozwiązanie jest bardzo uproszczone. Właściwie można byłoby nawet użyć określenia naiwne i zniekształca (zazwyczaj zawyża) inkrementalny efekt akcji. Powyższy sposób liczenia pomija bowiem jeden istotny szczegół. Porównywane grupy różnią się od siebie i to nie tylko faktem otrzymania bonu. Grupa z bonem otrzymuje komunikację e-mail, podczas gdy grupa bez bonu zwyczajnie takiej komunikacji nie otrzymuje. Założenie, że grupa, która wyraziła zgodę na komunikację za pośrednictwem poczty elektronicznej będzie bardziej skłonna do dokonywania zakupów, nawet jeśli nie otrzyma bonu, jest wiarygodne. Jeżeli założylibyśmy odwrotnie, oznaczałoby to , że komunikacja nie ma wpływu na sprzedaż, a przecież wiemy, że tak nie jest.

Po pierwsze: zawczasu zaplanuj sposób analizy efektów

Co więc w tej sytuacji zrobić? Najlepszy podejściem, byłoby zaplanowanie sposobu analizy efektów jeszcze przed uruchomieniem akcji. Dzięki temu, spośród wszystkich klientów spełniających kryteria można wylosować odpowiednio liczną grupę kontrolną. Grupa ta nie otrzymała by bonu. Byłaby to jedyna istotna różnica w stosunku do grupy otrzymującej bon. Dzięki temu grupa kontrolna stanowiłaby lepsze i wiarygodniejsze tło do porównania. Podobna akcja rzeczywiście została przeprowadzona dla jednego z naszych klientów, jednak jej efekty zostały zmierzone poprawnie. Jeszcze przed przystąpieniem do wysyłki, wyłoniliśmy spośród osób ze zgodą  na komunikację za pośrednictwem poczty elektronicznej, odpowiedni volumen grupy kontrolnej. Wyniki poprawnego porównania widoczne są w tabeli poniżej.

Wciąż widoczna jest pozytywna różnica w odsetku grupy z transakcją. Jednak jest ona o wiele niższa w przypadku poprzedniego porównania i wynosi tylko 0,8% Według nowych szacunków wygenerowaliśmy 800 dodatkowych transakcji (0,8%*100000 = 800) oraz podwyższyliśmy wartość 4300 transakcji o 7,79 zł  (4,3%*100000 = 4300 transakcji). Tak jak w poprzednim przypadku koszt wykorzystanych bonów wyniósł 102 tys. zł (5100 * 20 zł = 102000). Łączny wygenerowany obrót wyniósł więc 119 tys. zł (85,5 tys. zł + 33,5 tys. zł). Był więc niewiele wyższy niż koszt udzielonego w związku z tą akcją rabatu. Trudno więc ogłaszać sukces. Należy natomiast wyciągnąć wnioski i przy planowaniu kolejnych akcji dokonać odpowiednich zmian (np. lepiej dobrać wartość rabatu, przyjąć inne kryteria doboru klientów). Czy jednak należy wyciągnąć też wniosek, że zawsze przy tego rodzaju analizach trzeba stosować opisaną metodę – eksperyment oparty o losowe grupy kontrolne (zwany także testem A/B)? Tak, ale…

Co, gdy nie da się wyodrębnić grupy kontrolnej?

Niestety takie podejście nie zawsze jest wykonalne. I to jest jego główna wada. W pewnych sytuacjach występują ograniczenia prawne (np. interpretacja przepisów, która ogranicza możliwość dyskryminacji klientów i nakazuje przyznanie benefitów wszystkim, którzy spełniają określone kryteria), a także ograniczenia marketingowe. Na przykład firma może nie chcieć narażać się na ryzyko wywołania niezadowolenia u klientów, którzy w ramach eksperymentu zostaną odcięci od możliwości uzyskania benefitu. Ryzyko tym większe im wyższa w oczach klientów wartość benefitu. Czy więc w takich sytuacjach jesteśmy skazani na fałszujące obraz uproszczone podejście lub musimy w ogóle zrezygnować z analizy efektów akcji marketingowej?

Kim są statystyczni bliźniacy?

Niekoniecznie. Na szczęście nie musimy zakładać tak drastycznych scenariuszy i rezygnować z mierzenia efektów przeprowadzanych kampanii. Istnieją zaawansowane metody statystyczne, które pozwalają nawet bez grupy kontrolnej wyestymować rzeczywisty efekt. Metody te, mówiąc w uproszczeniu, opierają się o poszukiwanie bliźniaków statystycznych. Bliźniacy statystyczni to klienci o jak najbardziej zbliżonych cechach, wśród których tylko jeden był poddany działaniu bodźca: został objęty promocją, wysłaliśmy mu smsa, wyświetliliśmy mu reklamę online, czy podjęliśmy wobec niego inne działania mające  na celu zachęcenie go do skorzystania z naszej oferty. Powstaje w ten sposób syntetyczna „grupa kontrolna” złożona z jednego bliźniaka z każdej pary, tego który nie brał udziału w akcji.  Wyzwaniem jest w tym wypadku identyfikacja kluczowych zmiennych gwarantujących podobieństwo grup. Jednak odpowiednie oprogramowanie komputerowe pomaga przeprowadzić ten proces. Otwiera to nowe możliwości analizy danych i optymalizacji decyzji w sytuacjach, w których przeprowadzenie zrandomizowanego eksperymentu nie jest możliwe, bądź jest trudne lub nieopłacalne.

Jak widzimy, zdarza się, że efekty przeprowadzanych akcji marketingowych są albo źle liczone, albo wyniki są nadinterpretowane. Dlatego jeszcze przed przystąpieniem do realizacji kampanii, należy ustalić w jaki sposób zamierzamy badać jej skutki. Zaawansowane metody statystyczne oraz machine learning pomagają w wielu problematycznych sytuacjach, takich jak chociażby brak możliwość skompletowania optymalnej grupy kontrolnej.