Agent AI po wdrożeniu: jak oceniać obsługę i reagować na błędy
Proponowany warsztat operacyjny: karta jakości rozmowy, analiza błędów, progi interwencji i warunki ponownego uruchomienia zmienionej konfiguracji.
Ustal, co dokładnie oceniasz
Przyjmijmy konkretne zadanie: agent ma odpowiadać na pytania klientów o produkt i przekazywać sprawy wymagające decyzji pracownikowi. Jak ocenić jego pracę po uruchomieniu? Proponujemy zacząć od pisemnej definicji poprawnie obsłużonej sprawy, a dopiero potem wybrać wskaźniki. Cały opisany niżej system monitorowania jest naszą propozycją redakcyjną, przeznaczoną do dostosowania do własnej usługi. Podane przykłady i progi nie są wynikami badań ani standardem branżowym.
Punktem odniesienia dla oceny treści może być wskazana przez Google możliwość występowania nieścisłości w odpowiedziach generatywnej AI. Google zaleca ręczne sprawdzanie faktów i przegląd treści generowanych przez AI przed publikacją. Dokument dotyczy treści internetowych; wykorzystanie tego zalecenia przy ocenie rozmów agenta jest naszym proponowanym zastosowaniem. Wytyczne Google dotyczące treści generowanych przez AI.
Zapisz na jednej stronie: dozwolone zadania agenta, materiały stanowiące podstawę odpowiedzi, sytuacje wymagające przekazania sprawy oraz osobę zatwierdzającą zmiany. Dodaj przykład odpowiedzi akceptowalnej i przykład wymagający poprawy. Niech każdy przykład dotyczy jednej konkretnej intencji klienta, takiej jak wyjaśnienie funkcji produktu.
Jako proponowaną definicję sukcesu przyjmij: odpowiedź zgodna z zatwierdzonym materiałem, odnosząca się do pytania, zawierająca potrzebny następny krok i mieszcząca się w zakresie uprawnień agenta. Jeśli zespół chce stosować inną definicję, zapisz ją przed rozpoczęciem oceniania.
Zbuduj kartę jakości pojedynczej sprawy
Nasza proponowana karta obejmuje cztery oddzielne oceny: zgodność merytoryczną, kompletność odpowiedzi, wykonanie zadania oraz sposób zakończenia rozmowy. Dla każdego pola zastosuj trzy etykiety: spełnione, niespełnione, brak podstaw do oceny. Przy ostatniej etykiecie obowiązkowo dopisz, jakiego materiału zabrakło recenzentowi.
Do zgodności merytorycznej dołącz fragment zatwierdzonego dokumentu, z którym porównano odpowiedź. Przy kompletności zapisz, czego wymagało pytanie klienta. Przy wykonaniu zadania wskaż oczekiwaną czynność. Przy zakończeniu sprawdź, czy zgodnie z przyjętą instrukcją należało udzielić odpowiedzi, poprosić o doprecyzowanie czy przekazać sprawę człowiekowi.
Google w swoim zestawie pytań do samooceny treści proponuje między innymi sprawdzanie kompletności opisu oraz łatwych do zweryfikowania błędów rzeczowych. To kryteria oceny treści, a nie gotowa metodologia monitorowania agentów. Pytania Google do oceny jakości.
W naszym proponowanym arkuszu zachowaj osobno wynik każdego kryterium. Jeżeli potrzebujesz wyniku zbiorczego, opublikuj obok niego sposób obliczania. Nie przyznawaj automatycznie najwyższej oceny sprawie, której nie dało się sprawdzić. Dla spornej rozmowy zachowaj pierwotną ocenę, komentarz drugiego recenzenta oraz końcowe rozstrzygnięcie.
Proponowany arkusz
Od rozmowy do oceny
- 1
Pytanie
Zapisz intencję klienta i oczekiwany zakres obsługi.
- 2
Wzorzec
Wskaż zatwierdzony materiał i oczekiwane zachowanie.
- 3
Ocena
Oceń osobno treść, kompletność, czynność i zakończenie.
- 4
Rozstrzygnięcie
Zapisz uzasadnienie albo brak podstaw do oceny.
Zaprojektuj przegląd rozmów i tablicę wyników
Proponujemy dwa strumienie przeglądu. Pierwszy to próbka wybrana według wcześniej zapisanej reguły, na przykład co dziesiąta zakończona sprawa. Drugi to sprawy skierowane do kontroli: zgłoszenia klientów, odpowiedzi oznaczone przez pracowników i przypadki przerwanego wykonania zadania. Raportuj je oddzielnie, z podaniem sposobu wyboru.
W tablicy dla każdego rodzaju sprawy pokaż liczbę ocenionych rozmów, liczbę ocen pozytywnych i liczbę przypadków bez możliwości rozstrzygnięcia. Przy procencie dopisz licznik i mianownik. Osobne zestawienia przygotuj dla języka, intencji klienta i wersji konfiguracji. Są to nasze proponowane przekroje robocze, a nie wymagany zestaw metryk.
Przykładowo, dla hipotetycznej kategorii „pytania o funkcje” możesz zapisać 18 odpowiedzi zgodnych z materiałem na 20 ocenionych. Nie przedstawiaj tego przykładu jako wyniku własnego produktu. W rzeczywistym raporcie dopisz okres zbierania spraw, regułę oceny oraz informację, czy porównywane próbki przygotowano tak samo.
Czas odpowiedzi, liczbę przekazań do pracownika i ocenę wystawioną przez klienta umieść w osobnych kolumnach. W ramach naszej konwencji żadnej z tych wartości nie traktuj samodzielnie jako werdyktu o jakości. Gdy wynik wymaga interpretacji, dołącz reprezentatywne rozmowy i wyjaśnienie recenzenta zamiast dopisywać nieudokumentowaną przyczynę.
Analizuj błąd przez kartę incydentu
Nasza propozycja analizy błędu zaczyna się od rekonstrukcji sprawy. Zapisz pytanie klienta, odpowiedź agenta, oczekiwane zachowanie oraz materiał uzasadniający oczekiwanie. Dołącz wersję instrukcji, zestawu wiedzy i konfiguracji użytej w tej rozmowie, jeżeli takie informacje są dostępne w twoim środowisku.
Następnie wybierz roboczą kategorię: brak potrzebnego materiału, błędna interpretacja dostępnej treści, niewłaściwe wykonanie czynności, nieprawidłowe przekazanie sprawy albo nieustalona przyczyna. Traktuj kategorię jako hipotezę do sprawdzenia. Nie zapisuj jej jako potwierdzonego wyjaśnienia wyłącznie na podstawie niepoprawnej odpowiedzi.
Wyobraź sobie hipotetyczne pytanie o dostępność funkcji w konkretnym planie. Agent odpowiada twierdząco, a zatwierdzona tabela tego nie potwierdza. W proponowanej karcie najpierw zanotuj tę rozbieżność. Następnie sprawdź, jaki materiał udostępniono agentowi, i przygotuj próbę odtworzenia. Dopiero po jej ocenie przypisz przyczynę lub pozostaw ją nierozstrzygniętą.
Oddziel w karcie cztery pola: obserwacja, hipoteza, wynik próby i decyzja. Wyznacz właściciela następnego działania oraz termin przeglądu. Jeśli podobne zgłoszenia chcesz połączyć w jedną grupę, zapisz wspólne kryterium i zachowaj odnośniki do poszczególnych spraw. Nie zastępuj ich samą zbiorczą etykietą.
Uzgodnij reakcję na pogorszenie wyników
Proponujemy ustalać progi interwencji dla konkretnego zadania. Przy każdym zapisz warunek, minimalną liczbę ocenionych spraw, osobę decyzyjną i dopuszczalne działanie. Próg przedstawiaj jako regułę operacyjną zespołu. Nie przypisuj mu naukowego uzasadnienia, jeżeli go nie posiadasz.
Rozważ trzy proponowane tryby reakcji. W trybie obserwacji zwiększ zakres przeglądu dla wskazanej kategorii i wyznacz termin decyzji. W trybie ograniczenia skieruj wybraną intencję do pracownika lub wyłącz określoną czynność. W trybie wstrzymania zatrzymaj obsługę danego zadania do czasu zatwierdzenia dalszego postępowania. Dla każdego trybu przygotuj osobną instrukcję wykonania.
Jako przykładową regułę możesz przyjąć, że potwierdzona odpowiedź wykraczająca poza zatwierdzony zakres uruchamia przegląd odpowiedniej ścieżki. To nasza propozycja organizacyjna, a nie uniwersalny próg. Zespół powinien dopisać własne kryterium potwierdzenia oraz wskazać osobę uprawnioną do ograniczenia działania agenta.
W komunikacie wewnętrznym stosuj prosty szablon: co zaobserwowano, jakich spraw dotyczy decyzja, jakie działanie wykonano i kiedy nastąpi kolejny przegląd. Oddziel ustalenia od hipotez. Jeśli przyczyna pozostaje nieznana, zapisz to wprost i określ następny krok diagnostyczny.
Proponowane tryby
Wybierz zakres interwencji
- Działanie
- Poszerz przegląd spraw
- Zapis decyzji
- Zakres próbki i termin przeglądu
- Działanie
- Przekaż wybraną intencję pracownikowi
- Zapis decyzji
- Zakres zmiany i osoba odpowiedzialna
- Działanie
- Zatrzymaj wskazane zadanie
- Zapis decyzji
- Warunki ponownego uruchomienia
Zamknij poprawkę sprawdzalną decyzją
Nasz proponowany warunek zamknięcia incydentu obejmuje ponowną ocenę przykładu, który ujawnił błąd, oraz zestawu innych zatwierdzonych przypadków. Przed próbą zapisz oczekiwane odpowiedzi i kryteria zaliczenia. Uwzględnij sprawy zakończone poprawnie przed zmianą, przypadki niejednoznaczne oraz pytania wymagające przekazania do pracownika.
W decyzji o ponownym uruchomieniu wymień zmienione elementy, ocenione przypadki, nierozwiązane zastrzeżenia i osobę zatwierdzającą. Zaplanuj także pierwszy przegląd po przywróceniu obsługi. Nie używaj sformułowania „problem rozwiązany” jako zamiennika dla wyniku kontroli. W naszym proponowanym rejestrze dopuszczamy również decyzję o dalszym ograniczeniu zakresu zadania.
Na przeglądzie zespołu wybierz jedną kategorię błędów do dalszej pracy i określ, jaki dowód będzie potrzebny do następnej decyzji. Może to być poprawiony materiał referencyjny, ponownie oceniona próbka lub wyjaśniona rozbieżność między recenzentami. Właściciel zadania powinien otrzymać konkretny rezultat do przygotowania.
Max AI opisuje się na stronie rejestracji jako system operacyjny dla agentów AI. Strona rejestracji Max AI. Jeśli chcesz rozpocząć pracę w tym środowisku, przejdź do założenia konta. Opisany tutaj arkusz oceny i proces reakcji traktuj jako własny dokument operacyjny zespołu; artykuł nie przypisuje platformie funkcji monitorowania, których nie opisano w przywołanym materiale.
Proponowane etapy
Od poprawki do ponownego przeglądu
Opis zmiany
Wymień zmodyfikowane instrukcje, materiały lub ustawienia.
Kontrola
Oceń przypadek incydentu i uzgodniony zestaw pozostałych spraw.
Decyzja
Zapisz zatwierdzony zakres działania i nierozwiązane zastrzeżenia.
Przegląd
W ustalonym terminie oceń wskazaną próbkę rozmów.
Źródła
- Max AI - Operating system for AI agents — maxaiagent.app; dostęp 6 listopada 2026
- Google Search's Guidance on Generative AI Content on Your Website | Google Search Central | Documentation | Google for Developers — developers.google.com; opublikowano 1 października 2026
- Creating Helpful, Reliable, People-First Content | Google Search Central | Documentation | Google for Developers — developers.google.com; opublikowano 5 października 2026
Zacznij działać z własnym agentem
Agent zna kontekst tego artykułu i nadal realizuje checklistę przypisanego działu.
Powiązane artykuły
Przekazanie rozmowy od AI do człowieka: kiedy eskalować i kto przejmuje sprawę
Proponowana procedura obejmująca kryteria eskalacji, kartę kontekstu, potwierdzenie przejęcia oraz obsługę spraw oczekujących.
Jak testować agenta AI przed wdrożeniem: rozmowy, kryteria i źródła
Proponowany warsztat testowy dla zespołu: scenariusze rozmów, jawne kryteria zaliczenia i kontrola każdego twierdzenia względem materiałów źródłowych.
Jak przygotować bazę wiedzy dla agenta AI: od dokumentów do zasad odpowiedzi
Proponowany warsztat porządkowania dokumentów, sprawdzania aktualności, rozstrzygania sprzeczności i uzupełniania braków — z kartą źródła i kryteriami odbioru.
Od czego zacząć z agentem AI: obsługa klienta, zapytania czy operacje?
Proponujemy praktyczny sposób wyboru jednego zadania, opisania granic agenta i oceny pilotażu bez zakładania z góry oszczędności ani wzrostu sprzedaży.