Testy A/B sekwencji mailowych — sprawdź, która wersja porzuconego koszyka sprzedaje lepiej

Co się zmieniło

Do tej pory testy A/B w Witly dotyczyły tego, co klient widzi w sklepie: rekomendacji, wyszukiwarki, popupów. Od 8 września 2026 ten sam mechanizm obejmuje sekwencje mailowe — i jest włączony w każdym sklepie, bez zgłaszania się i bez dodatkowej opłaty.

Pytania, na które do tej pory odpowiadało się na wyczucie, dostają odpowiedź z danych: czy trzeci mail porzuconego koszyka coś dokłada, czy rabat w drugim kroku odzyskuje więcej zamówień niż w trzecim, czy mail pisany przez AI sprzedaje lepiej niż Twój własny szablon, czy krótsze opóźnienie nie zaczyna irytować. Jeśli nie znasz jeszcze samych sekwencji, zacznij od artykułu Automatyczne sekwencje email z agentami AI.

Jak działa test: jednostką jest zapis do sekwencji

Każda osoba, która po starcie testu zapisze się do sekwencji (porzuci koszyk, zapisze się do newslettera, złoży zamówienie), jest raz losowana do wariantu A, B albo C i przechodzi swoją wersję do końca — wszystkie kroki, z opóźnieniami i treściami tego wariantu. Nikt nie dostaje połowy maili z jednej wersji i połowy z drugiej. Zapisy dzielą się po równo między warianty.

Wariant A to Twoja obecna sekwencja. W chwili startu zamrażamy jej ustawienia, a warianty B i C zapisujemy jako „A plus Twoje zmiany". Dzięki temu osoba wylosowana w poniedziałek dostaje w piątek dokładnie tę wersję, do której trafiła — nawet jeśli w międzyczasie test się zakończył.

Które sekwencje można testować i co da się w nich zmienić

Testować można gotowe sekwencje Witly. Pole, które w danym kroku nie miałoby wpływu na wysłany mail, jest w wariancie zablokowane kłódką z wyjaśnieniem — nie da się „przetestować" ustawienia, które niczego nie zmienia.

W każdym kroku, na który pozwalają reguły sekwencji, wariant może zmienić: temat, treść i wygląd maila, tryb AI albo własny szablon oraz instrukcję dla AI, opóźnienie, kanał (e-mail albo SMS) i treść SMS-a, rabat wraz z warunkami i przypomnieniem o istniejącym kodzie, rekomendacje produktów, opinie o sklepie w treści, prośbę o opinię — a także wyłączyć cały krok.

Poza zakresem są wysyłki cykliczne (nowości, rekomendacje) — tam treść powstaje od razu dla całej paczki odbiorców i nie ma momentu, w którym dałoby się uczciwie wylosować wariant — oraz sekwencje zbudowane od zera.

Jak uruchomić test A/B sekwencji

Maile z wariantów przechodzą tę samą drogę co zwykłe maile sekwencji. Jeśli sekwencja działa w trybie ręcznym, w Emaile z sekwencji każdy mail z testu ma przy sobie plakietkę wariantu — osoba zatwierdzająca widzi, że dwa różne teksty tego samego kroku są zamierzone. Podgląd i mail próbny działają dla każdego wariantu osobno.

Jak czytamy wynik — bez p-value

Wyniki są w panelu testu i w Statystyki → Wyniki testów A/B, gdzie testy sekwencji stoją obok testów aplikacji, z kolumną mówiącą, gdzie test działa. Tabela jest podzielona na role — co decyduje, co wyjaśnia, czego pilnujemy:

• Decyduje (domyślnie): % zapisanych, którzy kupili. Liczymy ludzi, nie maile: zapis wygrywa, jeśli ta osoba złożyła zamówienie po wylosowaniu wariantu. Wariant, który wysyła mniej maili, nie jest karany mniejszym mianownikiem. Przy przypomnieniu o płatności liczy się opłacenie tego konkretnego zamówienia.
• Wyjaśnia: % zapisanych, którzy kliknęli, przychód na zapisanego i średnia wartość zamówienia. Jeśli przy starcie wybierzesz kliknięcia, role się zamieniają: werdykt, pasek postępu i prognoza idą za kliknięciami, a zakupy zostają w tabeli jako wskaźnik. Metrykę wybiera się przed startem — w trakcie testu nie da się jej zmienić, żeby nie wybierać po fakcie tej, która akurat wygrywa.
• Bezpiecznik: % zapisanych, którzy się wypisali. Wariant, który sprzedaje więcej, ale wypisuje więcej ludzi, nie dostaje zielonego światła.
• Koszt: maili na zapisanego. Wersja, która sprzedaje tyle samo mniejszą liczbą maili, jest lepsza — zużywa mniej uwagi klientów.
• Pomocniczo: otwarcia i niedostarczone maile. Otwarć nie używamy do decyzji: Apple Mail pobiera treść maila w tle, zanim człowiek go zobaczy, więc otwarcia są zawyżone i nierówno rozłożone między skrzynkami.

Zamiast p-value każda porównywana liczba ma zdanie w rodzaju „92% szans, że lepszy jest B" oraz zakres, w którym leży prawdziwa zmiana. 50% oznacza remis. Werdykt ma cztery stany: Różnica potwierdzona, Bez różnicy — warianty równe, Wstępny wynik — dozbieraj dane i Za mało danych, by ocenić (poniżej 15 zapisów w którymkolwiek wariancie nie oceniamy w ogóle). Przy trzech wariantach podnosimy poprzeczkę dla każdego porównania, bo im więcej porównań, tym łatwiej o przypadkowy „wynik".

Pod tabelą jest rozbicie krok po kroku — ile osób doszło do każdego maila, ile go dostało, kliknęło i zamówiło. Służy do zrozumienia wyniku, nie do decyzji: do trzeciego maila dochodzą w każdym wariancie inne osoby. Pilnujemy też samego losowania: jeśli zapisy rozłożą się między wariantami inaczej, niż zakładał podział, zobaczysz ostrzeżenie, żeby na takich wynikach nie podejmować decyzji.

Zakupy liczymy od chwili losowania do zakończenia testu i jeszcze 7 dni po nim — ostatnie osoby dostają maile tuż przed stopem i ich zamówienia też należą do wyniku. Okno jest takie samo dla wszystkich wariantów.

Ile potrwa test — prognoza przed startem

Zanim klikniesz „Uruchom", panel pokazuje, ile dni potrzeba do wiarygodnego wyniku. Liczymy to z Twoich danych z ostatnich 30 dni: ile osób dziennie zapisuje się do tej sekwencji i jaki odsetek z nich kupuje. Próbę dobieramy tak, żeby wykryć zmianę o 10% (względnie) z mocą 80% — tą samą liczbą napełnia się potem pasek postępu w wynikach.

Uczciwie: testy maili potrzebują dużo zapisów. Tak wygląda wymagana próba na wariant przy tej metodzie (to wyliczenie ze wzoru, nie dane żadnego sklepu):

Wniosek praktyczny: w mniejszym sklepie testuj zmiany, po których spodziewasz się dużego efektu — rabat albo jego brak, pominięcie kroku, zupełnie inny kąt maila — a nie przecinek w temacie. Większa różnica wychodzi w danych szybciej. Jeśli ostatnie 30 dni nie daje podstaw do prognozy, panel powie to wprost: test można uruchomić, ale wynik może nie nadejść.

Zastosowanie zwycięzcy jednym kliknięciem

W trakcie testu pola, które porównujesz, są zamrożone w obecnej wersji — żeby wynik nie rozjechał się w połowie. Pozostałe ustawienia sekwencji edytujesz normalnie i działają na wszystkie warianty naraz. Jeśli wyłączysz w trakcie testu krok, który na starcie był włączony, przestaje on wychodzić we wszystkich wariantach; ponowne włączenie przywraca każdemu wariantowi jego ustawienia.

Gdy test się rozstrzygnie, klikasz „Zastosuj B i zakończ". Do sekwencji trafiają dokładnie te pola, którymi B różnił się od A — nic więcej, więc nie nadpisujesz przy okazji ustawień, które nie były testowane. Zmiana przechodzi przez te same reguły, co ręczna edycja kroku. Osoby w trakcie sekwencji dokończą ją w swojej wersji. Możesz też zakończyć test bez zmian — wyniki zostają, a zakończony test da się schować z listy przyciskiem „Archiwizuj".

Testy A/B e-maili na Shoperze, PrestaShopie i WooCommerce

Sam test działa tak samo na każdej platformie — różni się to, skąd Witly wie, że klient porzucił koszyk, złożył zamówienie albo zapisał się do newslettera. To od tego zależy, które sekwencje w Twoim sklepie w ogóle zbierają zapisy.

Testy A/B maili w sklepie na Shoperze

Testy A/B maili w PrestaShop

Testy A/B maili w WooCommerce

Czego nie obiecujemy

• Wyniku w tydzień przy małym ruchu. Prognoza przed startem mówi, ile to potrwa. Jeśli wychodzą miesiące, lepiej przetestować większą zmianę niż czekać.
• Że wyłączona sekwencja coś zmierzy. Test zbiera dane tylko wtedy, gdy sekwencja jest włączona — panel ostrzega o tym na testowanej sekcji.
• Testu opóźnienia pierwszego maila w porzuconym koszyku i oglądaniu. To opóźnienie decyduje, kiedy w ogóle uznajemy koszyk za porzucony, czyli dzieje się przed losowaniem wariantu.
• Więcej niż trzech wariantów. Przy wolumenach maili czwarty wariant oznacza test bez końca.
• Decyzji na podstawie otwarć. Pokazujemy je, ale ochrona prywatności w Apple Mail sprawia, że nie mówią, kto naprawdę przeczytał mail.

Od czego zacząć

Najczęściej najwięcej daje test, który zmienia strukturę, a nie słowo: „porzucony koszyk z rabatem w drugim mailu" kontra „bez rabatu", albo „dwa maile" kontra „trzy". Jeśli chcesz, podpowiemy hipotezę i wariant B dla Twojego sklepu — napisz na hello@witly.ai albo zapytaj na czacie w panelu.