Najdroższy pilotaż w firmie to zwykle nie ten, który się nie udał. To ten, którego nikt nie zamknął. Działa dalej na małej grupie, ma swojego opiekuna, generuje faktury za licencje i godziny nadzoru, a na pytanie o wynik pada odpowiedź, że temat jeszcze dojrzewa. Po roku nikt nie potrafi powiedzieć, czy to działa, bo nikt nie zmierzył stanu wyjściowego.
Decyzja o zamknięciu eksperymentu jest trudna nie dlatego, że dane są niejednoznaczne. Jest trudna dlatego, że nikt nie ustalił na wejściu, co oznaczałaby porażka, kiedy sprawdzamy i kto ma prawo powiedzieć stop.
Dlaczego pilotaż bez daty zamknięcia nigdy nie umiera sam
Eksperyment, który nie ma zapisanej daty przeglądu i nazwiska osoby decydującej, przechodzi w tryb podtrzymywania. Mechanizm jest przewidywalny i nie ma nic wspólnego z technologią.
Po pierwsze, ktoś zainwestował w niego reputację. Osoba, która przyniosła temat na zarząd, ma naturalny interes w tym, żeby projekt nie został oznaczony jako nieudany. Po drugie, koszty są rozproszone: licencja idzie w koszty IT, godziny nadzoru w koszty operacji, integracja została zapłacona rok temu i już nie boli. Po trzecie, brakuje punktu odniesienia. Skoro nie wiadomo, ile trwała obsługa sprawy przed pilotażem, każdy wynik da się opisać jako poprawę.
Z perspektywy zarządu problem nie polega na tym, że część eksperymentów zawodzi. Powinna zawodzić – inaczej progi zostały ustawione zbyt nisko i firma testuje wyłącznie rzeczy oczywiste. Problem polega na tym, że nieudany pilotaż zjada budżet i uwagę, które miały pójść na następny.
Co zmierzyć w tygodniu zero, żeby po trzech miesiącach było do czego porównać
Pomiar stanu wyjściowego jest jedyną czynnością w całym pilotażu, której nie da się nadrobić później. Po starcie wdrożenia proces już się zmienił, ludzie pracują inaczej, a rekonstrukcja danych sprzed zmiany zamienia się w negocjacje o interpretację.
Cztery wskaźniki wystarczą. Więcej oznacza zwykle, że nikt nie zdecydował, co jest ważne.
| Wskaźnik | Jak zmierzyć przed startem | Jednostka | Typowa pułapka |
|---|---|---|---|
| Czas obsługi | Próbka minimum 100 spraw z ostatnich 4-6 tygodni, liczona od wpłynięcia do zamknięcia, nie od momentu podjęcia przez pracownika | minuty, mediana i 90. percentyl | Średnia arytmetyczna. Jeden przypadek ciągnący się dwa tygodnie przesuwa ją tak, że po pilotażu każda liczba wygląda dobrze |
| Koszt jednostkowy | Pełny koszt obsłużenia jednej sprawy: wynagrodzenie z narzutami przeliczone na minuty, licencje, koszt nadzoru | zł na sprawę | Liczenie samej licencji narzędzia. Po stronie AI dochodzą koszty zużycia modelu, czas na weryfikację wyników i utrzymanie integracji |
| Odsetek błędów | Definicja błędu spisana przed startem, ręczny przegląd losowej próbki spraw przez osobę, która nie jest właścicielem pilotażu | % spraw z błędem, w podziale na błąd kosztowny i kosmetyczny | Brak definicji. Bez niej po trzech miesiącach toczy się spór, czy to był błąd, czy inna interpretacja |
| Faktyczne użycie | Udział spraw przechodzących przez nowy sposób pracy oraz liczba osób z zespołu korzystających w typowym tygodniu | % spraw, liczba osób | Mierzenie logowań zamiast pracy wykonanej w narzędziu. Logowanie potrafi być efektem przypomnienia na spotkaniu |
Do tego jedna liczba spoza tabeli: łączny budżet pilotażu z rozbiciem na koszt jednorazowy i miesięczny koszt utrzymania. Bez tego rozbicia decyzja o skalowaniu jest zgadywaniem, bo to koszt miesięczny mnoży się przez wolumen, nie koszt wdrożenia.
Osobna uwaga do wskaźnika użycia. To on najczęściej rozstrzyga los pilotażu, a jest mierzony najgorzej. Narzędzie, które daje dobre wyniki, ale z którego zespół korzysta wtedy, gdy ktoś patrzy, nie jest wdrożeniem tylko pokazem. Przy niskim użyciu pozostałe trzy wskaźniki tracą wartość dowodową, bo opisują próbkę wyselekcjonowaną przez entuzjastów.
Trzy progi stop/go, które trzeba zapisać przed pierwszą złotówką
Próg jest zapisany poprawnie, jeśli spełnia trzy warunki: ma liczbę, ma datę przeglądu i ma nazwisko osoby, która na tej dacie podejmuje decyzję. Zapis w stylu „ocenimy po kwartale, czy widać wartość” nie jest progiem, tylko odroczeniem.
| Próg | Kiedy | Co rozstrzyga | Warunek kontynuacji |
|---|---|---|---|
| 1. Sygnał techniczny | 2-3 tydzień | Czy rozwiązanie w ogóle działa na prawdziwych danych firmy, a nie na przykładach z demonstracji | Odsetek błędów kosztownych poniżej ustalonego pułapu na losowej próbce realnych spraw |
| 2. Adopcja | 6 tydzień | Czy zespół używa narzędzia bez przypominania i bez obecności osoby prowadzącej pilotaż | Ustalony minimalny udział spraw obsłużonych nowym sposobem, utrzymany przez dwa kolejne tygodnie |
| 3. Ekonomia | 12 tydzień | Czy koszt jednostkowy przy planowanej skali schodzi poniżej dzisiejszego | Koszt na sprawę niższy od bazowego o margines większy niż niepewność pomiaru |
Konkretnych wartości progowych nie da się przepisać z cudzej firmy. Dopuszczalny odsetek błędów przy generowaniu wstępnej wersji oferty i przy rozliczaniu faktur to dwie różne wielkości, a minimalna sensowna adopcja zależy od tego, czy narzędzie obsługuje cały proces, czy jego wycinek. Wartości ustala się na tym samym spotkaniu, na którym zatwierdza się budżet, i zapisuje w decyzji – nie w prezentacji dostawcy.
Trzy progi mają jeszcze jedną funkcję: rozdzielają rodzaje porażki. Pilotaż zatrzymany na progu pierwszym mówi, że technologia nie dojrzała do tego zastosowania. Zatrzymany na drugim mówi, że problem jest w procesie albo w sposobie wdrożenia, a nie w narzędziu. Zatrzymany na trzecim mówi, że działa, ale przy tej skali się nie spina – i to jedyny wynik, do którego opłaca się wrócić po zmianie cennika dostawcy lub po wzroście wolumenu.
Po jakim czasie uznać pilotaż za nieudany
Data sama w sobie nie jest dobrym kryterium, ale musi ograniczać całość z góry. Praktyczna reguła składa się z dwóch części.
Twardy limit: pilotaż ma zapisaną datę końca w momencie uruchomienia. Dla większości zastosowań w procesie wewnętrznym jest to jeden kwartał – tyle wystarcza, żeby przejść przez pełen cykl miesięczny procesu i zobaczyć zachowanie zespołu po opadnięciu pierwszej ciekawości. Przekroczenie tej daty wymaga osobnej decyzji z nowym budżetem, nie milczącego przedłużenia.
Reguła wcześniejszego zamknięcia: jeśli na dwóch kolejnych przeglądach żaden z czterech wskaźników nie ruszył w dobrą stronę, eksperyment się kończy niezależnie od tego, ile czasu zostało do daty granicznej. Brak ruchu przez dwa przeglądy to nie brak cierpliwości po stronie zarządu, tylko informacja, że hipoteza była błędna.
Sytuacje, w których przedłużenie ma sens, są policzalne i wszystkie wymagają zmiany warunków, a nie samego czasu:
- zmieniło się coś po stronie dostawcy, co realnie zmienia rachunek – nowy model, inny cennik, brakująca dotąd funkcja – i da się to opisać liczbą, a nie zapowiedzią
- pomiar bazowy okazał się wadliwy i przedłużenie służy poprawnemu zmierzeniu, przy zamrożonym zakresie
- proces poddany pilotażowi zmienił się w trakcie z powodu niezależnego od projektu, więc porównanie straciło sens
Poza tymi trzema przypadkami prośba o jeszcze jeden miesiąc jest prośbą o odroczenie decyzji, nie o dane.
Kto ma prawo powiedzieć stop
Prawo zamknięcia eksperymentu musi mieć jedna osoba, imiennie wskazana przy jego uruchomieniu, i nie powinien to być pomysłodawca. Komitet nie zamyka projektów – komitet zleca dodatkową analizę.
Najprostszy działający układ wygląda tak: sponsor budżetu decyduje o stop albo go na każdym z trzech przeglądów, właściciel pilotażu przygotowuje dane w ustalonym formacie, a osoba spoza zespołu projektowego weryfikuje próbkę błędów. Rozdzielenie tych ról jest istotne, bo osoba prowadząca wdrożenie po dwóch miesiącach pracy nie oceni własnego wyniku neutralnie i nie jest to zarzut wobec niej.
Domyślną odpowiedzią na przeglądzie powinno być zamknięcie. Kontynuacja wymaga wykazania, że warunek został spełniony. Odwrócenie ciężaru dowodu – kiedy to przeciwnik projektu musi udowodnić, że jest źle – jest jedynym powodem, dla którego firmy utrzymują eksperymenty latami.
Jak zamknąć eksperyment, żeby zespół podszedł do tematu drugi raz
Sposób zamknięcia decyduje o tym, ile będzie kosztował następny pilotaż. Jeśli zamknięcie zostanie rozegrane jako rozliczenie z porażki, kolejne zespoły nauczą się dwóch rzeczy: nie zgłaszać ryzykownych pomysłów i nie mierzyć niczego, co mogłoby wyjść źle.
Kolejność kroków, która trzyma to w ryzach, mieści się w dwóch tygodniach od decyzji:
- decyzję ogłasza sponsor, nie zespół projektowy, i nazywa ją wynikiem eksperymentu, nie błędem ludzi
- w komunikacie pada, który z progów nie został spełniony i jaka liczba to pokazała – bez tego zespół dopisze sobie własną wersję, zwykle gorszą od prawdziwej
- zespół dostaje spisane, co zostaje w firmie: dane bazowe procesu, definicja błędu, wiedza o jakości danych źródłowych, gotowe integracje
- rozliczenie zespołu następuje z jakości pomiaru i tempa dostarczenia odpowiedzi, nie z wyniku hipotezy
- umowy i subskrypcje zostają wypowiedziane w tym samym tygodniu – to najczęstsze miejsce wycieku budżetu po zamkniętym projekcie
- dostępy, dane firmowe po stronie dostawcy i konta testowe zostają usunięte, z potwierdzeniem na piśmie
- jedna strona notatki trafia do rejestru eksperymentów: hipoteza, progi, wynik, warunek powrotu
Ostatni punkt jest tańszy, niż wygląda, i zwraca się przy pierwszej powtórce tematu. Bez rejestru firma po dwóch latach uruchamia ten sam pilotaż drugi raz, tylko z innym dostawcą i bez pamięci o tym, dlaczego poprzedni nie zadziałał.
Sam warunek powrotu też trzeba zapisać. Zdanie w rodzaju „wracamy, gdy koszt przetwarzania spadnie o połowę albo gdy wolumen spraw przekroczy ustalony poziom miesięcznie” zamienia porzucony projekt w odłożoną decyzję z konkretnym wyzwalaczem. To zupełnie inna wiadomość dla zespołu niż cisza.
Ile kosztuje was dzisiaj utrzymywanie eksperymentów bez wyniku
Zanim zapadnie decyzja o kolejnym pilotażu, przydaje się jedna liczba: miesięczny koszt utrzymania wszystkich trwających eksperymentów razem. Licencje i subskrypcje, zużycie modeli, czas ludzi przeznaczony na obsługę i nadzór, koszt utrzymania integracji, które istnieją tylko dla pilotażu. W większości organizacji ta liczba nie jest nigdzie zsumowana, bo rozkłada się na kilka centrów kosztów i żadne z nich nie widzi całości.
Zsumowanie jej ma dwie konsekwencje. Pierwsza: pokazuje, ile budżetu jest zablokowane w rzeczach, o których nikt nie potrafi powiedzieć, czy działają. Druga: ustawia właściwą skalę porównania dla nowego wniosku. Pytanie brzmi wtedy nie „czy stać nas na ten pilotaż”, tylko „który z trwających zamykamy, żeby ten uruchomić”.
Pytania do zadania na najbliższym spotkaniu
- Które z uruchomionych pilotaży AI mają zapisaną datę końca i nazwisko osoby uprawnionej do ich zamknięcia? Ile jest takich bez jednego i drugiego?
- Dla każdego trwającego eksperymentu: jaka była wartość bazowa czasu obsługi, kosztu jednostkowego i odsetka błędów w tygodniu zero? Jeśli nikt nie potrafi jej podać, na jakiej podstawie planujemy skalowanie?
- Jaki odsetek spraw faktycznie przechodzi dziś przez wdrażane narzędzie i ile osób z zespołu użyło go w zeszłym tygodniu bez przypomnienia?
- Ile wynosi miesięczny koszt utrzymania wszystkich trwających pilotaży razem, licząc licencje, zużycie modeli i czas ludzi na nadzór?
- Który z eksperymentów nie ruszył na dwóch kolejnych przeglądach i dlaczego nadal trwa?
- Kto ponosi konsekwencje niezamknięcia nieudanego pilotażu i czy ta rola jest w ogóle obsadzona?
Krok do wykonania przed następnym posiedzeniem: wypisać wszystkie trwające eksperymenty z AI na jednej kartce i dopisać do każdego datę przeglądu, próg liczbowy i nazwisko decydenta. Pozycje, przy których któregokolwiek z tych trzech pól nie da się uzupełnić w ciągu tygodnia, zamknąć.