Spadek widać zwykle wtedy, gdy trwa już trzeci tydzień
Statystyki w panelu są od zawsze. Problem w tym, że ktoś musi je otworzyć, wybrać zakres, porównać z poprzednim okresem i zauważyć, że liczba jest gorsza niż zwykle. W praktyce robi się to wtedy, gdy coś już zaboli — czyli po fakcie.
Do tego sama liczba rzadko mówi, co robić. Oto realny przykład z jednego ze sklepów: wartość zamówień tydzień do tygodnia spadła o 16,7%. Brzmi jak spadek sprzedaży. Tyle że liczba zamówień była identyczna — 346 wobec 346. Cały ubytek zrobił średni koszyk: 128 zł → 107 zł. To zupełnie inna sprawa do sprawdzenia niż „mamy mniej klientów”.
Co sprawdzamy
Sześć obszarów, w nich kilkanaście osobnych sprawdzeń, liczonych niezależnie od siebie.
„Za mało danych” to nie to samo co „wszystko dobrze”
Ekran pokazuje stan każdego sprawdzenia, nie tylko te, które wypadły źle. Brak alarmu nie znaczy, że cokolwiek zostało zmierzone — i uważamy, że masz prawo to widzieć.
Funkcja, która krzyczy bez powodu, zostaje wyłączona w tydzień
Alarm, który okazuje się niczym, kosztuje więcej niż brak alarmu — bo uczy ignorować wszystkie następne. Dlatego więcej pracy poszło w wyciszanie szumu niż w samo wykrywanie.
Okno dopasowane do wielkości sklepu
Sklep z 200 zamówieniami dziennie i sklep z dwoma nie mogą być sprawdzane w ten sam sposób. Dla pierwszego stała doba jest ślepa — sześciogodzinna awaria płatności utonie w szumie całego dnia. Dla drugiego jest histeryczna, bo zero zamówień od rana to u niego zwykły wtorek.
Dlatego okno nie jest ustalone w godzinach, tylko w oczekiwanych zdarzeniach: cofa się wstecz, aż uzbiera tyle, żeby wynik cokolwiek znaczył. W praktyce ten sam mechanizm daje dużemu sklepowi okno godzinne, a małemu kilkudobowe. Punktem odniesienia jest profil godziny tygodnia z czterech tygodni — dzięki temu „zero zamówień o czwartej rano” nie jest sygnałem, tylko nocą.
Skala, nie tylko procenty
„Spadek o 30%” przy czterech zakupach zamiast pięciu nie jest wiadomością. Zgłaszamy dopiero to, co jest jednocześnie dostatecznie duże i dostatecznie pewne — a przy kilkunastu sprawdzeniach dziennie stosujemy korektę na wielokrotne porównania. Bez niej sam przypadek generowałby fałszywy alarm mniej więcej co drugi dzień.
Jedna przyczyna, jedna karta
Kiedy spada ruch, spada też liczba zamówień, przychód i liczba dodań do koszyka. To jedno zdarzenie, nie cztery. Dostajesz jeden wpis z rozbiciem, a nie zalew powiadomień o tym samym.
Najpierw sprawdzamy siebie
Gdyby zbudować to w odwrotnej kolejności, pierwszym „odkryciem” funkcji byłaby nasza własna opóźniona synchronizacja pokazana Tobie jako załamanie sprzedaży. Dlatego zanim cokolwiek policzymy o sklepie, sprawdzamy, czy dane są kompletne: czy synchronizacja z platformą idzie, czy zakupy wciąż łączą się z sesjami, czy ruch nadal generuje aktywność i czy ekran potwierdzenia zamówienia w ogóle się zgłasza.
Kiedy któreś z tych sprawdzeń jest czerwone, wskaźniki sprzedażowe dostają stan „problem z pomiarem” zamiast alarmu. Niższe liczby znaczą wtedy niepełne dane, a nie gorszą sprzedaż — i tak to jest napisane.
Jak to wygląda u Ciebie
Liczymy w nocy
Raz na dobę pełne sprawdzenie sprzedaży i trendów, a sprawy pilne — jak stojąca kolejka maili — częściej.
Wpis w „Do zrobienia”
Przy sekcji pojawia się licznik. Bez tego musiałbyś sam pamiętać, żeby zaglądać do statystyk.
Czytasz konkret
Co się pogorszyło, o ile, na jakiej próbie i w jakim oknie — plus rozbicie na składniki i link do właściwego ekranu.
Decydujesz
Sprawdzasz i działasz, wyciszasz na 30 dni albo zamykasz. Wpis zniknie sam, gdy problem ustąpi.
Nie musisz nic włączać
Funkcja działa w tle dla wszystkich sklepów w Witly. Wpisy pojawiają się w sekcji „Do zrobienia → Zdrowie sklepu”. Każdy możesz wyciszyć na 30 dni albo zamknąć — zamknięty wróci dopiero wtedy, gdy problem ustąpi i pojawi się ponownie.
Masz pytanie albo uważasz, że coś zgłaszamy niepotrzebnie? Napisz do nas — progi czułości stroimy na realnych sklepach, więc każde takie zgłoszenie realnie zmienia to, co widzą inni.
Źródła
- NIST/SEMATECH e-Handbook of Statistical Methods — Control Charts
itl.nist.gov/div898/handbook/pmc/section3/pmc3.htm - Benjamini, Hochberg — Controlling the False Discovery Rate (J. R. Statist. Soc. B, 1995)
rss.onlinelibrary.wiley.com/doi/10.1111/j.2517-6161.1995.tb02031.x - Google — Wytyczne dla nadawców e-mail (progi zgłoszeń spamu)
support.google.com/a/answer/81126
