Od czego zacząć z agentem AI: obsługa klienta, zapytania czy operacje?

Wybierz na początek jedno zadanie z jednoznacznym wynikiem i osobą odpowiedzialną za jego zatwierdzenie. Zamiast wpisywać do planu „automatyzacja obsługi klienta”, zapisz na przykład: „przygotowanie projektu odpowiedzi na pytanie o dostępne warianty usługi, wyłącznie na podstawie zatwierdzonego opisu”. Potraktuj taki zapis jako roboczy kontrakt pilotażu.

Cała przedstawiona niżej metoda jest naszą proponowaną checklistą redakcyjną. Punktacja, przykłady, progi i harmonogram służą zaplanowaniu własnej próby. Nie traktuj ich jako wyników badań, normy branżowej ani obietnicy efektów. Przy każdym przykładzie przyjmujemy, że człowiek zatwierdza wynik przed jego wykorzystaniem.

Zacznij od karty zadania

Dla każdego kandydata przygotuj krótką kartę. Wpisz rodzaj wejścia, dozwolone materiały, oczekiwany rezultat, odbiorcę wyniku i warunek przekazania sprawy człowiekowi. Dodaj także listę czynności wyłączonych z próby. Proponujemy zakończyć kartę zdaniem: „Zadanie uznajemy za wykonane, gdy…”, a następnie podać obserwowalne kryterium.

Dla projektu odpowiedzi takim kryterium może być komplet wymaganych informacji oraz wskazanie fragmentu materiału, który uzasadnia każdą odpowiedź. Dla kwalifikacji zapytania przyjmij uzupełnienie ustalonych pól, oznaczenie braków i propozycję dalszego kontaktu. Dla zadania operacyjnego wybierz szkic rekordu, którego pola można porównać z dokumentem wejściowym.

Nie wpisuj do tej karty ogólnego celu „lepsza jakość”. Zdefiniuj własne kryteria: brak dopisanych parametrów, zachowanie wskazanego formatu, właściwe oznaczenie niewiadomych. Jeżeli zespół nie uzgodni sposobu oceny, odłóż tego kandydata i dopracuj instrukcję. W naszym workflow zgoda co do oceny poprzedza konfigurację pilotażu.

Porównaj trzy konkretne zastosowania

Obsługa klienta — projekt odpowiedzi. Jako przykładowy zakres wybierz jedną kategorię pytań, choćby różnice między pakietami. Poleć agentowi przygotować odpowiedź na podstawie wskazanego dokumentu. Zastrzeż, że brak informacji oznacza przygotowanie pytania do opiekuna, a nie samodzielne uzupełnienie szczegółów. Poza zakresem pozostaw decyzje o wyjątkach, zmianach warunków i składaniu zobowiązań.

Kwalifikacja zapytań — przygotowanie notatki. W tym wariancie proponujemy porządkowanie treści formularza lub wiadomości. Ustal pola: temat, oczekiwany zakres, deklarowany termin i brakujące informacje. Zamiast oceny „dobry klient” zastosuj kategorię opisową, na przykład „zapytanie o wdrożenie” albo „prośba o wyjaśnienie oferty”. Ostateczną decyzję o dalszym kontakcie przypisz wskazanej osobie.

Operacje — szkic wpisu. Przykładowym zadaniem niech będzie przepisanie informacji z notatki do ustalonego formularza roboczego. Wymagaj wskazania źródła każdego pola. Jeśli notatka zawiera dwie różne daty, wynik powinien pokazać rozbieżność. W proponowanym pilotażu nie zezwalaj na samodzielne nadpisywanie zatwierdzonych danych.

Porównuj te trzy zadania na tym samym poziomie szczegółowości. Nie zestawiaj całej obsługi klienta z pojedynczym przeniesieniem danych. Dla każdego wariantu określ jedną kategorię wejścia i jeden oczekiwany rezultat. Przygotuj również przykładowy wynik poprawny oraz przykład wymagający odrzucenia.

Przyznaj punkty według własnych dowodów

Proponujemy pięć kryteriów, każde oceniane od zera do dwóch punktów. Zero oznacza brak przygotowania, jeden — częściową gotowość, dwa — komplet materiałów i uzgodnione zasady. Wynik traktuj jako pomoc w rozmowie, bez przypisywania mu znaczenia statystycznego.

1. Zakres: czy opisano konkretny początek i koniec zadania?
2. Materiały: czy wskazano zatwierdzone źródło odpowiedzi lub danych?
3. Ocena: czy osoba sprawdzająca ma wzorzec poprawnego wyniku?
4. Wyjątki: czy zapisano, kiedy agent ma przerwać i przekazać sprawę?
5. Odpowiedzialność: czy wyznaczono opiekuna próby oraz recenzenta wyników?

Do każdej oceny dopisz uzasadnienie. Zamiast „materiały: dwa” zanotuj „opis usługi zatwierdzony przez właściciela, wskazano konkretną wersję”. Przy remisie proponujemy wybrać zadanie z prostszym rezultatem do ręcznego sprawdzenia. Jeśli żaden kandydat nie ma opiekuna, wstrzymaj wybór i najpierw ustal odpowiedzialność.

Nie dodawaj punktów za atrakcyjność prezentacji, liczbę potencjalnych integracji ani przewidywane oszczędności bez pomiaru. Jeżeli chcesz oceniać koszt, wpisz do osobnej rubryki własny budżet pilotażu i później porównaj go z faktycznie poniesionymi nakładami.

Oddziel podstawę źródłową od projektu pilotażu

Google w dokumentacji dotyczącej treści generowanych przez AI wskazuje, że takie wyniki mogą zawierać nieścisłości. Wytyczne Google dotyczące generatywnej AI.

W tej samej dokumentacji Google zaleca ręczną weryfikację faktów i przegląd treści generowanych przez AI przed ich publikacją. Zalecenia dotyczące przeglądu treści.

Te zalecenia dotyczą publikowania treści internetowych. Nasza propozycja kontroli projektów odpowiedzi, notatek i formularzy jest odrębną decyzją redakcyjną dotyczącą opisanego tutaj pilotażu. Nie przypisujemy Google przedstawionej punktacji ani wyboru procesu biznesowego.

W poradniku o pomocnych treściach Google proponuje również ocenę przez zaufane osoby niezwiązane z witryną. Pytania do samooceny treści. W naszej checkliście przyjmij analogiczną zasadę organizacyjną: poproś o ocenę próbki osobę, która nie pisała instrukcji. Zleć jej użycie tej samej karty kryteriów.

Przeprowadź próbę na ustalonym zestawie

W naszym proponowanym harmonogramie najpierw przygotuj przykłady i wzorcowe wyniki, potem sprawdź zadanie bez wykorzystywania odpowiedzi wobec klientów, a dopiero następnie rozważ ograniczoną pracę z zatwierdzaniem. Nie przypisuj etapom sztywnej liczby dni. Przejście dalej uzależnij od udokumentowanej decyzji opiekuna.

Zbuduj zestaw zawierający przypadki zwykłe, niepełne i sprzeczne. Dla obsługi klienta dodaj pytanie, na które dokument nie odpowiada. Dla kwalifikacji uwzględnij wiadomość bez terminu. Dla operacji przygotuj notatkę z dwiema wersjami tego samego pola. Opisz oczekiwane zachowanie przed uruchomieniem próby.

Oceniaj osobno poprawność treści, kompletność wymaganych pól i zastosowanie reguły przekazania. Zapisuj czas kontroli oraz zakres poprawek. Nie uznawaj samego wygenerowania tekstu za ukończenie zadania. W naszym sposobie liczenia zakończenie następuje po akceptacji albo właściwym przekazaniu sprawy.

Przykładową bramką decyzyjną może być brak dopisanych informacji w ocenionej próbce oraz poprawne przekazanie wszystkich przygotowanych przypadków wyjątkowych. Ustal własny próg przed testem. Wynik opisuj jako obserwację dotyczącą tej próbki; nie zamieniaj go w obietnicę zachowania przy każdym kolejnym zgłoszeniu.

Zakończ decyzją o jednym następnym kroku

Po próbie wybierz jedną z trzech decyzji: popraw instrukcję, powtórz test albo rozszerz zakres o jedną kategorię spraw. Do uzasadnienia dołącz przykłady zaakceptowane i odrzucone. Jeżeli zmieniasz materiały lub kryteria, zapisz nową wersję i określ, które przypadki wymagają ponownego sprawdzenia.

Przed konfiguracją przygotuj pakiet przekazania: kartę zadania, materiały, przykłady, regułę zatrzymania i nazwisko opiekuna. Jako końcową checklistę proponujemy sprawdzić, czy inna osoba potrafi na tej podstawie odtworzyć ocenę. Jeśli nie, dopisz brakujące objaśnienie.

Strona rejestracji Max AI przedstawia usługę jako system operacyjny dla agentów AI. Rejestracja Max AI. Gdy przygotujesz swój pakiet pilotażu, przejdź do rejestracji. Własną kartę zadania potraktuj jako punkt odniesienia przy sprawdzaniu, czy wybrane narzędzie odpowiada wymaganiom próby.