Trzy pilotaże zgłosiły oszczędność na tej samej puli 19 200 godzin. Suma zgłoszeń 8 127, wynik 5 130

W raporcie dla zarządu pozycja „efekt programu AI” ma wartość 8 127 godzin rocznie, czyli 5,1 etatu. Liczba powstała z dodania trzech zgłoszeń od trzech właścicieli pilotaży w obsłudze klienta. Zespół, na którym wszystkie trzy pilotaże działają, ma dwanaście osób i około 19 200 godzin dostępnych po urlopach i absencji. Nikt w tym łańcuchu nie skłamał, a mimo to liczba jest zawyżona o blisko 3 000 godzin — bo trzy razy policzono częściowo te same minuty.

To nie jest spór o metodologię. Na tej liczbie opiera się decyzja o nieodtwarzaniu dwóch odejść i o budżecie na czwarty pilotaż. Jeśli 1,9 etatu z zapowiedzianych 5,1 nie istnieje, przez następne cztery kwartały zespół pracuje w obsadzie wyliczonej z liczby, której nikt nie umie odtworzyć.

Skąd w raporcie wzięło się 8 127 godzin, których nie ma w żadnym grafiku

Przyjmijmy jawnie warunki przykładu liczbowego, bo bez nich żadna z tych liczb nie znaczy nic: dwanaście osób, 1 600 godzin dostępnych na osobę rocznie, 92 000 spraw w roku bazowym, średni czas obsługi sprawy od końca do końca 10,0 minuty. To daje 15 333 godziny pracy na zgłoszeniach — reszta puli idzie na szkolenia, spotkania i zadania wewnętrzne. Własne odpowiedniki tych czterech liczb sprawdźcie u siebie, zanim pójdziecie dalej, bo cała dalsza arytmetyka jest ich funkcją.

Baseline rozkłada się na cztery odcinki sprawy: kwalifikacja i skierowanie 2,4 minuty, redakcja odpowiedzi 4,3, notatka po kontakcie 1,8, obsługa systemów 1,5. Trzy pilotaże weszły w trzy z tych odcinków i każdy zmierzył swój własny.

Każdy wiersz tej tabeli obroni się osobno. Suma nie obroni się wcale, i to z dwóch niezależnych powodów naraz.

Czy trzy pilotaże mierzyły rozłączne odcinki tej samej sprawy

Pierwszy powód: odcinki nie są rozłączne, choć w opisach wyglądają na rozłączne. Asystent odpowiedzi wypełnia pole kategorii razem z projektem odpowiedzi. Dokładnie to samo pole przestał wypełniać ręcznie człowiek po wejściu klasyfikatora — i na tej czynności klasyfikator zgłosił 1,1 minuty z własnych 1,8. Pomiar pilotażu B zrobiono na próbce zgłoszeń, w której kategorię jeszcze ustawiano ręcznie, więc jego 2,0 minuty zawiera tę samą 1,1 minuty po raz drugi.

Mechanizm jest banalny i dlatego trudny do wyłapania w raporcie: nakładka nie siedzi na poziomie pilotażu, tylko na poziomie czynności. Dwa zespoły opisały jeden ruch dwiema różnymi nazwami — „automatyczna kategoryzacja” i „projekt odpowiedzi z metadanymi” — i żaden z nich nie zajrzał w pomiar drugiego. Po odjęciu nakładki z 5,3 minuty zostaje 4,2.

Pytanie, które rozstrzyga takie przypadki bez audytu, jest jedno: jaki odcinek sprawy mierzyliście i czy ktoś inny mierzył ten sam odcinek w tym samym kwartale. Jeśli zgłoszenie nie odpowiada na to pytanie wprost, nakładki nie da się ani potwierdzić, ani wykluczyć.

Którym wolumenem przeliczono minuty na godziny

Drugi powód jest arytmetyczny i dotyczy wszystkich trzech zgłoszeń równocześnie. Minuty na sprawę przeliczono na godziny roczne wolumenem 92 000, czyli z roku bazowego. W roku, za który składany jest raport, spraw było 85 500, bo poprawka w produkcie usunęła całą kategorię reklamacji. Ta poprawka nie jest zasługą żadnego pilotażu.

Green Book, czyli obowiązująca w brytyjskiej administracji instrukcja oceny projektów, ma na to osobną parę pojęć: deadweight to skutki, które wystąpiłyby bez żadnej interwencji, a additionality to skutki, które wystąpiły w jej wyniku. Instrukcja każe też nie normalizować scenariusza „bez zmian” do zera, czyli nie udawać, że bez programu świat stoi w miejscu. Wolumen przeliczeniowy jest właśnie tym miejscem, w którym stan „bez zmian” wchodzi do rachunku — albo nie wchodzi i wtedy wynik rośnie sam.

4,2 minuty przeliczone wolumenem 85 500 daje 5 985 godzin, nie 8 127. I to jest dopiero wersja optymistyczna, bo liczona od sumy odcinków.

Ile zostaje, gdy ten sam zespół zmierzyć od końca do końca

Pomiar całej puli jest jedynym pomiarem, którego nie da się policzyć dwa razy. Średni czas obsługi sprawy od końca do końca spadł w tym zespole z 10,0 do 6,4 minuty, czyli o 3,6 minuty — nie o 4,2, które wyszły z sumowania odcinków. Różnica 0,6 minuty siedzi w sprawach trudnych, które po zdjęciu rutyny dostały więcej uwagi, i w czasie na kontrolę wyników modelu.

3,6 minuty przy 85 500 sprawach to 5 130 godzin, czyli 3,2 etatu. Zgłoszono 5,1 etatu. Różnica to 1,9 etatu, o który zarząd ma za chwilę zmniejszyć obsadę.

Dlaczego suma zgłoszeń z dołu nie jest wynikiem programu

Ta sama instrukcja stawia regułę, która w programach AI jest łamana domyślnie: korzyści programu ocenia się łącznie, a rozdzielanie korzyści programu na jego składniki nie jest ani wiarygodne, ani użyteczne. Pojedynczy komponent może nie mieć własnego mierzalnego efektu i wciąż być konieczny, żeby program dowiózł wynik — bo składniki działają razem, a nie obok siebie.

Operacyjnie znaczy to jedno: jednostką rejestru korzyści jest pula zdolności, a nie pilotaż. Pula musi być przy tym domknięta — godziny, które w żadnym rozliczeniu nie mają właściciela, psują mianownik tak samo jak nakładki psują licznik, co widać w rachunku godzin obsługi nieprzypisanych do żadnego projektu. Jeden zespół, jedno okno pomiaru, jedna liczba wychodząca na zarząd, a dopiero pod nią rozbicie na pilotaże — nie w drugą stronę. Rozbicie służy do decyzji o kontynuowaniu konkretnego pilotażu, nie do produkowania liczby zbiorczej.

Kto taki rejestr prowadzi, to kwestia obsady, nie techniki, ale wymagania są twarde: ten sam człowiek musi widzieć wszystkie pilotaże działające na jednej puli i mieć mandat, żeby zgłoszenie odesłać. W organizacjach, które prowadzą program agentowy jako jedną pozycję budżetową, rolą tą obsadza się właściciela całego programu; zakres mandatu właściciela programu agentowego opłaca się porównać z własnym podziałem, zanim rejestr powstanie bez adresata.

Skala rozjazdu między tym, co firmy zgłaszają jako efekt, a tym, co widać w rachunku wyników, jest mierzona od lat. W badaniu McKinseya „The State of AI in 2026” jakikolwiek wpływ AI na EBIT przypisuje mu 37 proc. respondentów, a co najmniej 5 proc. EBIT i efekt opisany jako znaczący raportuje około 6 proc. — przy 80 proc., które mówią o poprawie własnej produktywności. Dystans między tymi dwiema liczbami to dokładnie to miejsce, w którym suma zgłoszeń z dołu rozmija się z pomiarem puli.

Jak odsiać zgłoszenie oszczędności trzema pytaniami audytora

Nie trzeba tego wymyślać. Brytyjski urząd kontroli NAO badał zgłoszenia oszczędności administracji centralnej i oceniał czternaście kategorii oszczędności wobec trzech kryteriów: czy metoda daje wystarczającą podstawę dla zgłoszonej kwoty, czy zastosowano ją konsekwentnie i czy opis zgłoszenia trafnie oddaje to, co zmierzono. Dziewięć linii miało mocne metody i dowody, pięć słabsze — a w jednej z nich audyt wewnętrzny znalazł błędy w wyliczeniu, które usunięto ze zgłoszenia przed publikacją.

Te trzy pytania przenoszą się na pilotaż AI bez żadnej zmiany. „Czy metoda daje podstawę” to pytanie o odcinek i wolumen. „Czy zastosowano ją konsekwentnie” to pytanie, czy trzy pilotaże liczyły tym samym sposobem — w przykładzie powyżej nie liczyły, bo dwa brały wolumen bazowy, a pomiar puli brał rzeczywisty. Ten sam rozjazd potrafi wyjść na pojedynczym wskaźniku jednego wdrożenia, kiedy dwa raporty za ten sam miesiąc podają różny udział obsłużonych spraw. „Czy opis trafnie oddaje zmierzone” to pytanie, czy „5,1 etatu oszczędności” opisuje to samo, co wyszło z pomiaru.

Kolejność konsolidacji, zanim liczba pójdzie w porządek obrad:

• Wypisz pule zdolności, nie pilotaże. Pula to zespół z policzalnym wymiarem czasu pracy.
• Przypisz każdy pilotaż do puli i do odcinka procesu. Pilotaż bez odcinka nie wchodzi do rejestru.
• Rozstrzygnij nakładki na poziomie czynności, nie nazw pilotaży. Jedna czynność ma jednego właściciela zgłoszenia.
• Rozdziel w każdym zgłoszeniu jednostkę na sprawę od wolumenu. Godziny roczne bez widocznego mnożnika odsyłaj.
• Zażądaj daty pomiaru bazowego i listy pilotaży żywych w tym dniu.
• Zmierz pulę od końca do końca w tym samym oknie i porównaj z sumą zgłoszeń. Rozjazd powyżej dziesiątej części sumy wymaga wyjaśnienia na piśmie.
• Do zarządu wypuść liczbę z pomiaru puli, a sumę zgłoszeń zostaw w rejestrze jako materiał do decyzji o poszczególnych pilotażach.

Przy okazji: ten rejestr jest w większości firm pierwszym miejscem, w którym taka liczba ma właściciela. W tegorocznym badaniu State of the CIO formalne wskaźniki wartości ma 47 proc. z 662 badanych liderów IT, a kolejne 34 proc. planuje je w ciągu roku. Dopóki ich nie ma, liczba w raporcie jest sumą zgłoszeń, bo nie ma czym być inną.

Co postawić w porządku obrad najbliższego posiedzenia

Jedna rzecz do zrobienia przed przyjęciem jakiejkolwiek liczby o efekcie AI: zażądać, żeby każda pozycja miała przypisaną pulę zdolności i odcinek procesu, a liczba zbiorcza pochodziła z pomiaru puli, nie z dodawania. Jeśli odpowiedź brzmi „to są oszczędności z trzech niezależnych wdrożeń”, to jest odpowiedź na inne pytanie — niezależność wdrożeń nie oznacza rozłączności mierzonych minut.

Pytania do zadania na najbliższym spotkaniu, w tej kolejności:

• Na ilu pulach zdolności działają nasze pilotaże i która pula ma więcej niż jeden?
• Który odcinek procesu mierzył każdy z nich i czy dwa zgłoszenia dotykają tej samej czynności?
• Jakim wolumenem przeliczono minuty na godziny i z którego roku jest ten wolumen?
• Z jakiego dnia jest pomiar bazowy każdego zgłoszenia i co już wtedy działało?
• Jaki jest pomiar tej puli od końca do końca i o ile różni się od sumy zgłoszeń?
• Kto podpisuje liczbę, która wchodzi do raportu, i czy ma prawo odesłać zgłoszenie?
• Jaką decyzję kadrową podjęliśmy na poprzedniej liczbie i czy ona przeszła ten sam rachunek?

Ostatnie pytanie jest najmniej przyjemne i najważniejsze. Jeśli obsada na ten rok została wyliczona z sumy zgłoszeń, różnica nie zniknie przez to, że nikt jej nie policzył — wyjdzie jako nadgodziny, kolejka zgłoszeń albo rotacja, i wyjdzie w kwartale, w którym nikt nie będzie jej już łączył z raportem o AI.