Case study: jak zautomatyzowaliśmy kwalifikację leadów w firmie B2B

Kontekst#

Scenariusz wdrożenia oparty na naszej realizacji AI Lead Assistant — dane liczbowe są poglądowe, do czasu publikacji wyników z produkcji (tak samo oznaczamy je w sekcji realizacji).

Punkt wyjścia: firma B2B, około 400 zgłoszeń miesięcznie z formularza, maili i LinkedIn. Każde zgłoszenie handlowiec analizował ręcznie — średnio 20 minut: przejrzenie treści, sprawdzenie firmy, decyzja „nasz klient / nie nasz”, wpis do CRM, odpowiedź. Łącznie ponad 130 godzin miesięcznie, a czas pierwszej reakcji potrafił sięgać dwóch dni.

Przebieg#

Problem

Analiza

Rozwiązanie

Implementacja

Rezultat

Wnioski

Analiza (tydzień 1)#

Najtrudniejsza część nie była techniczna. Kryteria kwalifikacji istniały wyłącznie w głowach dwóch najbardziej doświadczonych handlowców — i różniły się między nimi. Warsztat sprowadził je do listy: profil firmy, sygnały dopasowania do oferty, sygnały budżetu, czerwone flagi. Dopiero ta lista stała się specyfikacją dla modelu. To nie był wyjątek — spisaliśmy pięć rzeczy, których nauczyliśmy się, budując rozwiązania AI.

Budowa (tygodnie 2-3)#

Architektura jak w naszym przewodniku po automatyzacji leadów: przechwycenie ze wszystkich źródeł do CRM, wzbogacenie danymi z bazy firm, kwalifikacja modelem ze strukturalnym wynikiem (ocena + uzasadnienie + pewność), routing według progów, automatyczna pierwsza odpowiedź.

Uruchomienie i kalibracja (tygodnie 4-6)#

Start w trybie „cień”: model kwalifikował równolegle z ludźmi, bez wpływu na proces. Porównanie 300 spraw pokazało zgodność z decyzjami seniorów na poziomie dziewięciu na dziesięć — ale też za ostrożny próg pewności: co trzecia sprawa szła do ręcznej weryfikacji, choć model miał rację. Dwa tygodnie kalibracji progów na realnych danych zbiły eskalacje do kilkunastu procent.

Rezultat po trzech miesiącach#

• czas ręcznej pracy przy leadach: minus około 70%,
• pierwsza odpowiedź do klienta: poniżej 5 minut, całą dobę,
• każda kwalifikacja z uzasadnieniem — zespół przestał wierzyć „na słowo”, bo może sprawdzić tok rozumowania,
• efekt uboczny, którego nikt nie zamawiał: uporządkowane kryteria kwalifikacji stały się materiałem onboardingowym dla nowych handlowców.

Poniższe trzy obserwacje są z tego projektu, ale żadna nie jest o technologii — wszystkie dotyczą tego, jak wiedza o procesie trafia do systemu.

Jak wyglądała kalibracja#

To jest ta część, której nie widać w podsumowaniu projektu, a która zajmuje najwięcej czasu po uruchomieniu. Rytm był prosty i powtarzalny.

Codziennie przez pierwszy tydzień ktoś z zespołu sprzedaży przeglądał oceny z poprzedniego dnia i zaznaczał te, z którymi się nie zgadza — bez uzasadniania, jedną kolumną. Chodziło o szybkość, nie o dokumentację.

Raz w tygodniu siadaliśmy do niezgód. Każda trafiała do jednego z trzech koszyków: brakująca reguła (kryterium, którego nie spisaliśmy), zła waga (reguła jest, ale liczy się za mocno albo za słabo), albo złe dane (model dostał niepełny kontekst z etapu wzbogacenia). Ostatni koszyk okazał się najliczniejszy i to była niespodzianka — poprawki szły do integracji, nie do promptu.

Próg pewności ruszaliśmy dopiero po drugim tygodniu, gdy było widać, jak rozkładają się oceny. Wcześniejsze majstrowanie przy nim maskowało problemy z regułami: podniesienie progu zmniejsza liczbę pomyłek, ale zwiększa liczbę spraw dla człowieka — czyli zamiata problem do kolejki zamiast go rozwiązać.

Czego ten projekt nie rozwiązał#

Uczciwie, bo to też jest wynik. Automatyzacja kwalifikacji nie poprawiła jakości samych leadów — poprawiła tempo i konsekwencję ich obsługi. Zgłoszenia bez potencjału nadal przychodzą w tej samej liczbie; różnica polega na tym, że nikt już nie traci na nie czasu.

Drugie ograniczenie: system jest tak dobry, jak spisane kryteria. Gdy zmienia się profil klienta, którego szuka sprzedaż, kryteria trzeba spisać od nowa — automat sam tego nie zauważy. Dlatego przegląd niezgód raz na kwartał został w procesie na stałe, także po zakończeniu wdrożenia.

Co poszło inaczej, niż zakładaliśmy#

Trzy rzeczy warte zapisania, bo powtarzają się w kolejnych projektach.

Kryteria kwalifikacji nie istniały w formie, którą da się zapisać. Handlowcy oceniali zgłoszenia trafnie i szybko, ale na pytanie „po czym poznajesz dobry lead” padały odpowiedzi ogólne. Metodą, która zadziałała, było odwrócenie kierunku: zamiast pytać o regułę, wzięliśmy pięćdziesiąt zamkniętych zgłoszeń i pytaliśmy przy każdym „dlaczego ten był dobry”. Reguły wyszły z konkretów, nie z deklaracji.

Zbyt ostrożny próg pewności kosztował więcej niż błędy. Pierwsza wersja eskalowała do człowieka wszystko, co budziło wątpliwość — z zamiarem „lepiej dmuchać na zimne”. Efekt: zespół dostawał niewiele mniej spraw niż przed wdrożeniem i szybko przestał ufać, że system cokolwiek zdejmuje. Kalibracja polegała na dopuszczeniu kontrolowanego odsetka pomyłek — bo pomyłka w kwalifikacji leada jest odwracalna, a brak oszczędności nie.

Uzasadnienie oceny okazało się ważniejsze od samej oceny. Wymóg, żeby model przy każdej ocenie pisał, na czym ją oparł, wprowadziliśmy dla przejrzystości. W praktyce dał coś więcej: zespół mógł się z oceną nie zgodzić w konkretnym punkcie, a te niezgody były najlepszym materiałem do poprawiania kryteriów. System bez uzasadnień daje tylko „dobrze” albo „źle” — i nie ma z czego się uczyć.

Wnioski, które zabieramy do kolejnych projektów#

1. Spisanie wiedzy eksperckiej to połowa projektu. Model jest tak dobry, jak kryteria, które dostał.
2. Tryb „cień” przed produkcją. Porównanie z decyzjami ludzi na setkach spraw daje liczby do kalibracji i buduje zaufanie zespołu.
3. Uzasadnienia to nie ozdobnik. Bez nich każda pomyłka modelu podważa system; z nimi — staje się konkretną poprawką kryteriów.