Więcej klików, mniej sprzedaży — czego marko.pl nauczyło nas o rekomendacjach AI

Jak czytać ten tekst: to nie jest laurka. To uczciwy zapis serii testów, w której większość rozdań nie dała twardego werdyktu — i właśnie dlatego jest z niej więcej do wyniesienia niż z pojedynczej „wygranej". Metafora pokerowa nie jest ozdobą: testy A/B na realnym sklepie gra się dokładnie tak. W pokerze nigdy nie masz kompletu informacji — i nigdy mieć nie będziesz. Decyzję zawsze podejmujesz na styku trzech rzeczy: eksploracji (co jeszcze możesz podejrzeć, płacąc za to ruchem i czasem), przeczucia (czego domyślasz się z niepełnych sygnałów) i statystyki (co liczby naprawdę potwierdzają). Nigdy na podstawie tylko jednej z nich — i nigdy z pełną pewnością.

Przeciwnik, który wcale nie był słaby

W typowym sklepie rekomendacje albo nie istnieją, albo to domyślny moduł platformy nietykany od wdrożenia — wtedy każdy sensowny system wygrywa łatwo. Marko.pl to inny przypadek: właściciel odrobił pracę domową, na kartach produktów działało wiele boxów rekomendacyjnych opartych o dedykowane moduły i ręczne tagowanie. Poziom wyjściowy był znacząco wyższy niż w przeciętnym sklepie — i przez kilka tygodni wcale nie było jasne, czy w ogóle uda się go pobić.

Po co w ogóle mierzyć się ze standardowymi rekomendacjami sklepu

Rekomendacje to nie magia dosypana do sklepu — to funkcja, która ma sens tylko wtedy, gdy robi więcej, niż zrobiłby zwykły moduł bez niej. Dlatego pierwszy krok nigdy nie brzmi „włączmy AI i patrzmy na obrót", tylko zmierzmy punkt wyjścia: ile sprzedaży dowożą rekomendacje, które sklep ma już dziś. Bez tego baseline'u każda liczba po włączeniu AI jest ślepa — nie wiadomo, czy zakup wydarzył się dzięki nowemu systemowi, czy stałby się i tak.

Oto zapis tej partii, rozdanie po rozdaniu.

Rozdanie 1 Cztery metryki, czterech różnych „zwycięzców"

Pierwszy test: trzy tygodnie, cztery różne konfiguracje rekomendacji na karcie produktu. Trzy z nich to różne zestawy sekcji widgetu AI — różniące się tym, które sekcje pokazujemy i w jakiej kolejności (jeden z tych zestawów, wariant C, łączył „wybrane dla Ciebie" i „inni oglądali też"). Czwarty wariant miał widget wyłączony całkowicie — czyli czyste rekomendacje sklepowe. Za punkt odniesienia (kontrolę) służył jeden z wariantów AI, do którego porównywaliśmy resztę.

Wyniki? Proszę bardzo — wybierz sobie zwycięzcę:

Zależnie od metryki „wygrywał" ktoś inny: kliknięcia brał wariant AI, ale koszyk, konwersję i przychód — widget wyłączony, czyli czyste rekomendacje sklepowe. Jeśli metrykę decyzyjną wybierasz po teście, zawsze znajdziesz taką, która potwierdzi to, co chciałeś usłyszeć. To nie analiza — to szukanie asa w rękawie po rozdaniu kart.

Twardy był jeden sygnał: wariant C („wybrane dla Ciebie" + „inni oglądali też") klikał się o jedną trzecią lepiej niż cokolwiek innego. A jednocześnie miał najniższą konwersję z całej czwórki — nieco niższą od kontroli. Ta różnica konwersji była nieistotna, ale kierunek zapamiętaliśmy.

Lekcja z rozdania 1: przy tej wielkości próbki test był w stanie wiarygodnie wykryć dopiero ~10% względnej różnicy konwersji. Realne różnice między wariantami miały ~3%. I mimo wszystko sama liczba kliknięć — choć był to najtwardszy sygnał na stole — była dla nas zbyt wątłą podstawą, żeby na niej ogłaszać zwycięzcę; jeden wskaźnik, choćby najmocniejszy, to za mało. Graliśmy o stawkę, której ten stół w ogóle nie wypłacał — i całe szczęście, że nikt nie ogłosił zwycięzcy.

Rozdanie 2 Twarda porażka — i dobrze, że szybka

Rozdanie 1 zostawiło nas z jedną niewygodną obserwacją: układ, który klikał się najlepiej, miał zarazem najniższą konwersję. Nasunęła się hipoteza — że mocno wyeksponowane, świetnie klikające się rekomendacje potrafią odciągać od zakupu nawet tych, którzy w nie w ogóle nie klikają; sama ich obecność na pierwszym planie rozprasza. Skoro tak, zagraliśmy ruch odwrotny do oczywistego: zamiast eksponować rekomendacje jeszcze mocniej, daliśmy im pozycję mniej wiodącą — mniej dominującą na karcie produktu — żeby sprawdzić, czy sprzedaż wśród nieklikających odbije. Stół odpowiedział szybko i bez litości.

Efekt po ośmiu dniach był twardy i jednoznaczny — tyle że na naszą niekorzyść:

Zejście rekomendacji na mniej wiodącą pozycję ścięło i kliknięcia, i — jeszcze mocniej — zakupy z rekomendacji.

Test po prostu pokazał, że pozycja, którą chcieliśmy sprawdzić, nie była odpowiednia — i tyle.

Pokerowa uwaga, która jest sercem tego tekstu: to była dobra decyzja, mimo że przegrana. Twardy, jednoznaczny sygnał — nawet gdy mówi „przegrałeś" — jest wart więcej niż dwuznaczna wygrana. Dlatego sfoldowaliśmy tę rękę po tygodniu, nie po kwartale. A morał praktyczny: intuicja co do tego, gdzie i jak mocno wyeksponować rekomendacje, potrafi być zupełnie mylna — zweryfikuje ją wyłącznie test, nie przekonanie. A że klikalność i sprzedaż potrafią iść w zupełnie przeciwne strony — pokaże dopiero następne rozdanie.

Rozdanie 3 Paradoks w pełnej krasie — więcej klików, mniej zakupów

Tydzień, uczciwe porównanie: widget AI z czterema sekcjami kontra rekomendacje sklepowe. Wynik — obie połówki naraz:

Gdyby patrzeć tylko na klikalność: „AI miażdży, wdrażamy wszędzie". Gdyby tylko na konwersję: „wyłączyć widget natychmiast". Obie decyzje byłyby nieuprawnione — i to jest chyba najważniejszy akapit tego tekstu. Wskaźniki potrafią mylić, a już na pewno potrafią mówić dwie różne rzeczy jednocześnie.

Za to razem układały się w hipotezę o mocnym psychologicznym sensie: kliknięcie w rekomendację to zaproszenie użytkownika do zejścia ze ścieżki zakupu produktu, który właśnie ogląda. Jeśli cel jest trafniejszy od punktu wyjścia — zyskujesz. Jeśli jest tylko atrakcyjny — użytkownik błądzi po katalogu, odkłada decyzję i częściej nie kupuje nic. Ściana kilkudziesięciu alternatyw pod produktem może obniżać sprzedaż dokładnie dlatego, że dobrze się klika. Nie umieliśmy tego udowodnić (to wciąż było podejrzenie, nie dowód) — ale umieliśmy na tej hipotezie zagrać następne rozdanie.

Rozdanie 4 Raise — lepsza kombinacja rekomendacji

Zamiast wyłączać widget (fold po nieistotnym sygnale — najgorsze możliwe zagranie), przebudowaliśmy rękę pod hipotezę z poprzedniego rozdania:

• Na pierwsze miejsce poszła sekcja „inni kupili również" — najbliższa intencji „domknij ten zakup", bo podpowiada uzupełnienia, nie alternatywy.
• Dodaliśmy „Bestsellery" — czysty social proof.
• Rekomendacje, o których podejrzewaliśmy, że mogą konwertować najgorzej, wyłączyliśmy całkiem.

Równolegle — mniej więcej w połowie serii — coraz mocniej premiowaliśmy w doborze podobieństwo cen: rekomendujemy produkty z tej samej półki cenowej co oglądany. To osobna dźwignia, która sama w sobie podnosi trafność (klient rzadko przeskakuje z produktu za 50 zł na propozycję za 500 zł).

Słowo o sekcji „Wybrane dla Ciebie" — naszym silniku personalizacji, z którego jesteśmy szczególnie dumni, bo w testach broni się wyjątkowo dobrze. Większość personalizacji w e-commerce sprowadza się do „pokazuj to, co popularne, z domieszką historii klienta". Nasz model odwraca pytanie: uczy się, czym dany klient różni się od przeciętnego klienta sklepu, i rekomenduje właśnie tę różnicę (w środku pracują wektory rezydualne — resztę zostawimy dla siebie). Jak działają poszczególne typy rekomendacji — „kupione razem", personalizacja, bestsellery — rozpisaliśmy w osobnym artykule o algorytmach rekomendacji. Ale pointa rozdania jest inna: nawet najlepszy algorytm nie obroni się sam. Chodzi o dobranie właściwej kombinacji sekcji — niektóre typy rekomendacji potrafią ze sobą nie grać, jedna osłabia drugą. Uczciwie: nasze wybory też w dużej mierze opierają się na przeczuciu. I dlatego finalnie tylko porządnie przeprowadzone testy A/B powiedzą, co realnie się liczy dla sprzedaży, a co nie — a większość takich hipotez, dopóki ich nie sprawdzisz, zostaje tylko hipotezami. To właśnie dlatego testowanie jest tak ważne. Psychologia zjada algorytmikę na śniadanie — dobry model zaczyna działać dopiero wtedy, gdy nie przeszkadza mu opakowanie.

I tu obraz wreszcie się domknął — wskaźniki, które wcześniej się kłóciły, w końcu wskazały ten sam kierunek (pełne zestawienie w tabeli na końcu rozdania).

Jedna rzecz dużo mówi o jakości dopasowania. Samych kliknięć w rekomendacje jest po obu stronach podobnie — ale AI zbiera je od ~22% większej liczby sesji. Po stronie sklepowej klika garstka osób, za to dużo (przeklikują się przez propozycje); po stronie AI klika znacznie więcej różnych osób, każda po trochu. Hipoteza: gdy rekomendacja jest trafna, klient klika raz w to, czego szukał, i idzie do zakupu; gdy jest tylko „ciekawa", ta sama grupa błądzi po kolejnych propozycjach, nabijając kliknięcia, ale nie zakupy. Liczy się nie ile klików, tylko ilu różnych ludzi znalazło coś wartego kliknięcia — i to się spina z resztą: przy podobnej liczbie klików AI kończy zakupem z rekomendacji 2,15× częściej.

Skuteczność kliknięcia to już nie „kliki dla klików" — kliknięcia zaczęły kończyć się zakupami. A konwersja +4,0% formalnie wciąż nie łapie klasycznej istotności, ale kierunek odwrócił się względem poprzedniego rozdania i przestał przeczyć pozostałym wskaźnikom. To już nie szum — to poszlaka, która zgadza się z twardym wynikiem: +115% więcej zakupów z rekomendacji po stronie AI.

Właśnie dlatego nie patrzymy wyłącznie na ogólną konwersję, tylko na cały lejek — kliknięcie → dodanie do koszyka → zakup — a przede wszystkim na sesje, w których kliknięcie w rekomendację skończyło się zakupem. Ogólna konwersja jest rozcieńczona wszystkimi sesjami, które rekomendacji nigdy nie dotknęły — sygnał tonie w szumie i potrzebuje milionów odsłon. Zawęź pomiar do sesji, które faktycznie miały kontakt z rekomendacją, a różnica robi się ogromna (2,15×) i gęsta — duży efekt na gęstej próbce łapie istotność dużo szybciej niż mały efekt rozmyty po całym ruchu. Te wąskie metryki nie są oderwane od konwersji, one ją zapowiadają: twardy wynik na „sesjach z zakupem z rekomendacji" widać wtedy, gdy ogólna konwersja jeszcze długo pozostaje poszlaką.

Dwie ulubione pułapki na koniec:

• Przychód. Przychód na odwiedzającego potrafi „wygrać" dla dowolnej strony — wystarczy jedno nietypowo duże zamówienie, żeby przechylić całą metrykę. Winsoryzacja (przycięcie wartości skrajnych) natychmiast zjada większość takiej przewagi, a przy szerokim rozstrzale cen testu istotności dla przychodu i tak nie da się sensownie policzyć. Wniosek prosty: na przychód po prostu tu nie patrz. Średnie przychodowe to pijany świadek — mówi dużo, głośno i nie pod przysięgą.
• Efekt nowości. Przez pierwsze trzy dni przewaga przebudowanego widgetu była ~4× większa niż w kolejnych tygodniach. Kto ogłasza wynik w pierwszym tygodniu, ogłasza wynik efektu świeżości.

Ręcznie kontra AI — bilans całej partii:

Trzeźwy partner przy stole: „analizuj przez AI"

W trakcie tej serii dodaliśmy do testów A/B w Witly przycisk, którego brakowało nam samym: analizę testu przez agenta AI. Agent sam sprawdza to, co powyżej — poprawność podziału ruchu, moc statystyczną i wymaganą próbkę, lejek per wariant, trend dzienny z detekcją efektu nowości, segmenty, istotność każdej metryki — i zwraca odpowiedź w trzech koszykach:

Ten trzeci koszyk jest najważniejszy. Człowiek fiksuje się na zielonych cyferkach — „przychód w górę!" — i nie widzi jednego wielkiego zamówienia, które tę cyferkę zrobiło. Agent tej słabości nie ma: nieistotny wynik jest dla niego nie-wynikiem. W pokerze nazywa się to mindsetem — dobry gracz nie zakochuje się w jednym rozdaniu i nie podejmuje decyzji pod wpływem emocji (nie gra „na tilcie"). Ten mindset agent ma wbudowany na stałe.

Ale agent nie tylko odsiewa szum — stawia hipotezy. Bo cała ta gra polega na hipotezach: pojedynczy test rzadko daje wyrok, częściej daje przesłankę, z której trzeba coś wywnioskować i zagrać dalej. Nasz agent przekopuje się przez dziesiątki wskaźników testu naraz — lejek per wariant, segmenty, trend dzienny, zależności między kliknięciem, koszykiem a zakupem — i składa je w spójną opowieść: „to wiemy na pewno", „to jest prawdopodobne", „to hipoteza warta następnego testu". Nie tylko odpowiada na pytanie, które zadałeś — podpowiada, jakie zadać następne, i podsuwa mechanizm, który mógłby tłumaczyć liczby.

Podział ról, który u nas zadziałał: człowiek i agent stawiają hipotezy wspólnie — człowiek wnosi psychologię kupowania i znajomość sklepu, agent wnosi to, czego człowiek nie ogarnie gołym okiem: dziesiątki wskaźników naraz i chłodny rachunek. Jego zadanie to ściągać myślenie bliżej ziemi — żeby decyzje wynikały z tego, co liczby faktycznie mówią, a nie z tego, co chcielibyśmy w nich zobaczyć. Intuicja jest legalna, ale jak u dobrego pokerzysty: zawsze skonfrontowana z rachunkiem, nigdy zamiast niego.

Poradnik: osiem przykazań testera A/B

1. Kliknięcia to nie zamówienia. Łatwo wpaść w założenie „więcej kliknięć → więcej sprzedaży" — a to nieprawda: kliknięcie mierzy atrakcyjność, nie skuteczność. Jako cel testu ustaw twardy wynik biznesowy: konwersję albo przychód na odwiedzającego, nigdy samą klikalność.
2. Wskaźniki potrafią mylić — nie ufaj jednemu. Część firm rozlicza się z klientem właśnie za kliknięcia w rekomendacje — a jak widać na naszym teście, wariant klikany najlepiej potrafił w tym samym czasie obniżać sprzedaż (także u tych, którzy nic nie kliknęli). Płacisz wtedy za coś, co realnie szkodzi. Patrz na spójność: kliki + skuteczność kliknięcia + konwersja.
3. Policz wykrywalną różnicę PRZED testem. Przy konwersji ~1% wykrycie 10% względnej różnicy wymaga rzędu 175 tys. użytkowników na wariant; 5% — ok. 700 tys.; 4% — ok. 1 mln; 3% — blisko 2 mln. Jeśli cię na to nie stać — świadomie graj na poszlaki, zamiast udawać, że masz werdykt.
4. Metrykę decyzyjną ustal przed rozdaniem. Po teście każdy znajdzie metrykę, która „wygrała".
5. Przychód czytaj przez medianę i winsoryzację. Jedno duże zamówienie potrafi napisać dowolną narrację. A jeśli sklep ma szeroki rozstrzał cen (od kilkudziesięciu do kilku tysięcy złotych) — przychód na odwiedzającego najlepiej odpuść jako metrykę decyzyjną w ogóle. Jego rozrzut jest wielokrotnie większy niż konwersji, więc żeby cokolwiek na nim udowodnić, potrzebujesz próbki wielokrotnie większej niż i tak już ogromna próbka na konwersję. Przy realnym ruchu ta metryka niemal zawsze mówi więcej o kilku największych zamówieniach niż o samych wariantach.
6. Nie podglądaj pierwszych dni i nie kończ testów po jednej nocy. Efekt nowości zawyża, nocna próbka kłamie, licz pełne tygodnie.
7. Przegrany test z twardym wynikiem jest cenniejszy niż trzy „wygrane" bez istotności. Jeden z naszych najtwardszych, jednoznacznych sygnałów był porażką — i to on ustawił dalszą strategię. Fold też jest decyzją. Najtańszą.
8. Algorytm to nie wszystko. Możesz mieć najlepszy model na rynku — o wyniku współdecydują miejsce na stronie, dobór, kolejność i liczba sekcji. Czasem drogą do wzrostu jest wyłączenie części rekomendacji. Psychologia klienta gra przy tym stole na równi z matematyką.

Dygresja na koniec: kto tu kogo ogrywa

Jak pisaliśmy — u nas AI to partner przy analizie testów A/B i zarządzaniu nimi, a nie zawodnik po drugiej stronie stołu. Ale skoro już siedzimy przy tej pokerowej metaforze: może to ostatni moment, żeby jeszcze samemu rozdać kilka rąk — bo za jakiś czas prowadzenie testów A/B własnoręcznie może w ogóle przestać mieć sens, gdy zajmie się tym w całości AI.

Popatrz na daty. W szachach komputer pokonał panującego mistrza świata już w 1997 roku — Deep Blue firmy IBM wygrał mecz z Garrim Kasparowem. A poker opierał się sztucznej inteligencji jeszcze przez dwie dekady: heads-up (jeden na jednego) w no-limit Texas Hold'em padł dopiero w 2017 roku (program Libratus z Carnegie Mellon), a przy pełnym, wieloosobowym stole — sześciu graczy — dopiero w 2019 roku (Pluribus). Poker był więc dla AI dużo, dużo twardszym orzechem niż szachy: to gra z niepełną informacją, blefem i losowością, gdzie nie widać wszystkich figur na planszy. W szachach wszystko leży na wierzchu — w pokerze najważniejsze jest to, czego nie widać. Dokładnie jak w teście A/B, gdzie prawdziwy sygnał siedzi pod szumem, a nie w słupku klikalności.

I stąd nasza puenta: skoro maszyny ograły ludzi nawet w grze o niepełnej informacji, to dziś z pewnością da się już zbudować agenta AI, który poprowadzi test A/B od początku do końca — od hipotezy, przez dobór metryki i wielkości próby, po analizę i decyzję — lepiej i konsekwentniej niż człowiek. Bez podglądania pierwszych dni, bez zakochania się w jednej metryce, bez foldowania ze strachu. My na razie gramy z AI w duecie — człowiek i maszyna po tej samej stronie stołu. Ale przyglądamy się temu, w którą stronę to zmierza, uważniej, niżby się mogło wydawać. Partia, którą człowiek gra sam, wygląda coraz bardziej jak ta ostatnia.

Zobacz też

• Rekomendacje AI — ProductDNA
• Algorytmy rekomendacji produktów
• Rekomendacje produktowe w sklepie