Wniosek o skalowanie ma w uzasadnieniu 81 procent wobec 72. W rubryce liczby obserwacji stoi 40

Na zarząd trafia wniosek o skalowanie pilotażu. W uzasadnieniu stoi różnica: 81 procent wobec 72 procent przed startem. W rubryce z liczbą obserwacji, na której tę różnicę policzono, stoi 40. Te trzy liczby wystarczą, żeby wniosek odesłać, i nie trzeba do tego wiedzieć niczego o samym wdrożeniu.

Przy 40 obserwacjach 81 procent i 72 procent to ta sama wartość. Nie w przybliżeniu, nie „z pewną ostrożnością” – po prostu te dane nie rozstrzygają, czy cokolwiek się zmieniło. Wniosek napisany na takiej różnicy nie jest wnioskiem opartym na danych, tylko wnioskiem opartym na przeczuciu, do którego dołączono tabelkę. Poniżej jest arytmetyka, która to rozstrzyga, i sześć pól, które trzeba wypełnić przed pierwszą obserwacją, a nie po ostatniej.

Czy ta różnica jest odróżnialna od zera?

Do porównania dwóch udziałów służy statystyka z, która dzieli różnicę przez jej własny rozrzut. Jej postać podaje podręcznik statystyki inżynierskiej NIST w rozdziale o porównywaniu dwóch proporcji: z = (p1 − p2) / √[p(1−p)(1/n1 + 1/n2)]. Dla 40 obserwacji i różnicy 0,09 przy stanie wyjściowym 0,72 wychodzi z = 1,27, czyli dwustronne p = 0,20.

Drugi sposób pokazania tego samego jest mniej techniczny i lepiej działa na spotkaniu. Przedział ufności dla wyniku 81 procent z 40 obserwacji, policzony metodą Wilsona, rozciąga się od 66,4 do 90,2 procent. Stan wyjściowy 72 procent leży w środku tego przedziału. Te dane nie wykluczają zatem, że po wdrożeniu proces działa gorzej niż przed nim.

To nie jest zarzut wobec zespołu, który pilotaż prowadził. Nikt nie kazał zadeklarować liczby obserwacji przed startem, więc pilotaż skończył się wtedy, kiedy ktoś poprosił o wynik.

Ile spraw musi przejść pilotaż, żeby różnica 9 punktów cokolwiek znaczyła?

Liczbę obserwacji wylicza się przed startem, z czterech wielkości: stanu wyjściowego, progu, który uznacie za sukces, dopuszczalnego ryzyka fałszywego alarmu i dopuszczalnego ryzyka przeoczenia realnej poprawy. Wzór dla testowania udziału wobec znanej wartości odniesienia podaje rozdział NIST o wymaganej liczebności próby wraz z przykładem: żeby wykryć wzrost wadliwości z 10 na 20 procent przy 5-procentowym ryzyku fałszywego alarmu i 10-procentowym ryzyku przeoczenia, trzeba 102 sztuk, a z poprawką na ciągłość 112.

Ten sam wzór z waszymi liczbami – stan wyjściowy 72 procent, próg 81 procent, test dwustronny, ryzyko fałszywego alarmu 5 procent, moc 80 procent – daje 181 spraw, czyli 192 z poprawką na ciągłość. Nie 40. Jeżeli chcecie zmniejszyć ryzyko przeoczenia poprawy do 10 procent, liczba rośnie do 248.

Test jednostronny jest tańszy o 39 spraw, ale kupuje się go za konkretną cenę: zobowiązujecie się z góry, że interesuje was wyłącznie pytanie „czy lepiej”, i że wynik gorszy od stanu wyjściowego potraktujecie jako brak dowodu, a nie jako sygnał ostrzegawczy. Przy procesie, który dotyka klienta, to zwykle zły zakład.

Dlaczego ta sama różnica wymaga raz 192, a raz 696 obserwacji?

Różnica siedzi w tym, skąd bierzecie 72 procent. Jeżeli ta liczba pochodzi z historii procesu – z kilku tysięcy spraw sprzed pilotażu, policzonych tą samą definicją – to jest wartością odniesienia i wnosi do rachunku pomijalny błąd. Wtedy wystarczą 192 sprawy przez agenta.

Jeżeli natomiast stan wyjściowy mierzycie równolegle, bo wcześniej nikt tego wskaźnika nie liczył, to macie dwie niepewne liczby, nie jedną. Rachunek robi się wtedy na dwóch grupach i rośnie do 348 spraw na grupę, czyli 696 łącznie. Kolejność ma więc skutek budżetowy: wskaźnik policzony na danych historycznych przed startem pilotażu zmniejsza potrzebną próbę o dwie trzecie.

Cała ta arytmetyka zakłada przy tym jedną rzecz, której sama nie dowiezie: że wiadomo, co dokładnie wchodzi do licznika i mianownika wskaźnika, i że po obu stronach porównania wchodzi to samo. To osobna robota, wykonywana przed liczeniem próby – to samo zestawienie za ten sam miesiąc potrafi dać 62 albo 38 procent bez żadnej pomyłki w arytmetyce, jeżeli jeden liczy milczenie klienta jako sukces, a drugi nie. Jeżeli definicja nie jest zapisana, wzory poniżej policzą liczebność próby dla wskaźnika, którego nikt nie umie odtworzyć, i to jest najdroższy wariant ze wszystkich.

Co realnie wykryje pilotaż, na który macie 40 obserwacji?

Czasem liczby spraw nie da się zwiększyć, bo proces ma miesięczny wolumen 40 i tyle. To nie zamyka pilotażu – zamyka tylko pytanie, które wolno na nim postawić. Przy 40 obserwacjach, stanie wyjściowym 72 procent i mocy 80 procent najmniejsza różnica, jaką ten pilotaż potrafi wykryć, to około 18 punktów procentowych. Czyli pilotaż odpowie wyłącznie na pytanie, czy agent domyka sprawy na poziomie 90 procent. Na pytanie o 81 procent nie odpowie, choćby trwał.

Odróżnienie realnej zmiany od szumu nie jest przy tym problemem wyłącznie pilotaży AI: ta sama arytmetyka progu decyduje o tym, które odchylenie w kontroli wykonania budżetu wymaga decyzji, a które jest szumem. Różnica jest jedna: w budżecie progi zwykle ktoś już kiedyś ustalił, a przy pilotażu trzeba je policzyć od zera.

Z tego wynikają trzy wyjścia, wszystkie uczciwe, byle wybrane przed startem, a nie po zobaczeniu wyniku:

• Podnieście próg. Jeżeli wolumen daje 40 spraw, kryterium sukcesu brzmi 90 procent, nie 81. Wtedy mniejsza poprawa, nawet realna, nie uruchamia skalowania – i to jest decyzja, a nie przypadek.
• Wydłużcie horyzont. Przy 192 sprawach i wolumenie 12 spraw miesięcznie pilotaż trwa 16 miesięcy, przy 60 na miesiąc – 3,2 miesiąca, przy 150 – niespełna 1,3 miesiąca. Liczba spraw na miesiąc, nie kalendarz, wyznacza datę decyzji.
• Zmieńcie miarę. Udział to najdroższa statystycznie miara, jaką można wybrać. Wskaźnik ciągły – czas obsługi sprawy, liczba dotknięć, koszt na sprawę – przy efekcie wielkości 0,5 odchylenia standardowego wymaga około 63 obserwacji na grupę, a przy 0,4 odchylenia około 98. Ta sama decyzja, trzykrotnie mniejsza próba.

Co się dzieje z liczbą, na którą zarząd patrzy co tydzień?

Załóżmy, że próba jest policzona, horyzont ustalony, a wskaźnik trafia na cotygodniowy przegląd. Tu pojawia się błąd, który nie wynika z żadnego złego zamiaru: ktoś zauważa, że wynik „już wyszedł powyżej progu”, i proponuje zamknąć pilotaż wcześniej z decyzją pozytywną. Każde takie spojrzenie z prawem zatrzymania jest osobnym testem, a ryzyko fałszywego alarmu kumuluje się przez wszystkie.

Skala tej kumulacji jest zmierzona od dawna. Praca Johna Ludbrooka o analizach cząstkowych w BMC Medical Research Methodology z 2003 roku zestawia wyniki Armitage’a, McPhersona i Rowe’a: przy wyniku dwumianowym i progu nominalnym 0,05 realne ryzyko fałszywego alarmu rośnie do 0,107 po dwudziestu takich spojrzeniach, do 0,171 po pięćdziesięciu i do 0,227 po stu. Ta sama praca podaje w tabeli 1 poprawione progi, które utrzymują ryzyko na poziomie 5 procent: 0,030 przy dwóch analizach cząstkowych, 0,016 przy pięciu i 0,011 przy dziesięciu.

W analizie eksperymentów cyfrowych ten sam problem jest nazwany wprost. Praca Johariego, Pekelisa i Walsha „Always Valid Inference: Bringing Sequential Analysis to A/B Testing” stwierdza, że klasyczne wartości p i przedziały ufności są całkowicie niewiarygodne, jeżeli użytkownicy sami dobierają liczebność próby przez ciągłe monitorowanie testu. Autorzy proponują rozwiązanie – metody sekwencyjne, zaprojektowane pod ciągły podgląd – i to jest trzecia z dróg wymienionych poniżej.

Dla zarządu wybór jest zatem taki, i dobrze zapisać go w jednym zdaniu protokołu:

• Wynik rozstrzygacie w jednej, ustalonej z góry dacie, a wcześniejsze podglądy są informacyjne i nie mogą zakończyć pilotażu.
• Albo deklarujecie liczbę przeglądów z prawem zatrzymania i zaostrzacie próg – przy pięciu przeglądach z 0,05 na 0,016.
• Albo od początku stosujecie metodę sekwencyjną, która ciągły podgląd uwzględnia w rachunku.

Czego zrobić nie można: patrzeć co tydzień, zatrzymać się na tygodniu, w którym liczba wygląda dobrze, i zaraportować nominalne p. To nie jest spór metodologiczny, to po prostu inna liczba niż ta, którą zarząd dostaje do podpisu.

Kto podpisuje kryterium, zanim zobaczycie wynik?

Wszystko powyżej jest arytmetyką i da się policzyć w arkuszu. Trudniejsza jest kolejność organizacyjna: kryterium musi istnieć, zanim pojawi się wynik, a w praktyce powstaje po nim – bo wtedy wiadomo, jaki próg da się obronić. Dlatego kryterium ma mieć właściciela i datę wcześniejszą niż pierwsza obserwacja.

Właściciel nie powinien być tą samą osobą, która odpowiada za dowiezienie pilotażu. Kto ma zostać uznany za sprawcę sukcesu, nie jest dobrym kandydatem na tego, kto ustala, czym sukces jest. W mniejszych organizacjach rozdzielenie tych dwóch rzeczy bywa niewykonalne wewnętrznie i wtedy rozstrzyga się to umową o nadzór nad programem agentowym z osobą spoza linii raportowania projektu. W większych – komitetem, który zatwierdza kryterium na wejściu, a nie raport na wyjściu.

Praktyczny test, czy kryterium naprawdę istnieje: spróbujcie z góry napisać zdanie, które brzmi „pilotaż uznajemy za nieudany, jeżeli do dnia X udział nie przekroczy Y na co najmniej Z sprawach”. Jeżeli nikt nie chce tego zdania podpisać, pilotaż nie ma kryterium stop/go, ma termin raportowania.

Arkusz decyzyjny: sześć pól wypełnianych przed pierwszą obserwacją

Sześć pól, jedna kartka, wypełniane przed startem. Koszt wypełnienia to godzina. Koszt niewypełnienia to cały budżet pilotażu wydany na liczbę, której nie da się użyć w decyzji – plus skalowanie podjęte na różnicy, która po roku okazuje się szumem.

Pytania na najbliższe spotkanie

• Na ilu sprawach policzono wskaźnik, który mamy dzisiaj na slajdzie, i jaki jest jego przedział ufności?
• Czy stan wyjściowy pochodzi z historii procesu, czy z grupy mierzonej równolegle – i czy obie liczby powstały z tej samej definicji?
• Jaka liczba obserwacji została zadeklarowana przed startem i w którym dniu ją osiągniemy przy obecnym wolumenie?
• Ile razy patrzyliśmy na ten wskaźnik z prawem zatrzymania pilotażu i czy próg był o to skorygowany?
• Kto podpisał kryterium stop/go, z jaką datą, i czy ta data jest wcześniejsza niż pierwsza obserwacja?
• Jeżeli wolumen nie pozwala na wymaganą próbę – czy zmieniamy próg, horyzont, czy miarę? Czwartej opcji „zdecydujmy mimo wszystko” w arkuszu nie ma.