Jak testować agenta AI przed wdrożeniem: rozmowy, kryteria i źródła

Przed udostępnieniem agenta proponujemy przygotować konkretny pakiet odbiorowy: zestaw rozmów, materiały dostępne podczas każdej próby oraz reguły oceny odpowiedzi. Zamiast pytania „czy brzmi dobrze?” przyjmijcie pytanie „które wymagania tego scenariusza zostały spełnione?”. Poniższy plan jest naszą propozycją redakcyjną, a nie przywołanym standardem ani obietnicą określonych wyników.

Punktem odniesienia jest zalecenie Google dotyczące publikowanych treści generowanych przez AI: należy ręcznie sprawdzać ich poprawność i wiarygodność, ponieważ takie odpowiedzi mogą zawierać nieścisłości. Zalecenie obejmuje również metadane i teksty alternatywne. Wytyczne Google. W naszym planie przenosimy nacisk na sprawdzanie treści do oceny przykładowych rozmów; jest to proponowane zastosowanie, nie opisana przez Google procedura testowania agentów.

Ustal zakres i kartę pojedynczej próby

W naszym proponowanym warsztacie zacznijcie od jednego zadania, na przykład odpowiadania na pytania o wdrożenie klienta. Zapiszcie, jakie informacje agent może przekazywać, jakich działań oczekujecie i kiedy ma poprosić o doprecyzowanie. Nie oceniajcie jeszcze stylu. Najpierw uzgodnijcie granice zadania i dokumenty stanowiące podstawę odpowiedzi.

Dla każdej próby przygotujcie kartę z identyfikatorem, celem użytkownika, pełnym przebiegiem rozmowy, zestawem dokumentów i oczekiwanym zachowaniem. Dodajcie pole na niedozwolone dopowiedzenia. Przykładowo: „Nie podawaj daty szkolenia, jeżeli materiał zawiera tylko opis programu”. To nasza proponowana reguła odbioru dla tego przypadku.

Zamroźcie kopię materiałów użytych w próbie i przypiszcie jej własny numer. W protokole oddzielcie tekst pytania od uwag oceniającego. Ustalcie także właściciela scenariusza: osobę uprawnioną do rozstrzygnięcia, czego oczekuje zespół. Każdą późniejszą zmianę oczekiwania wpisujcie jako zmianę karty, zamiast dopasowywać ocenę po przeczytaniu odpowiedzi.

Zbuduj rozmowy wokół różnych stanów wiedzy

Proponujemy sześć rodzin scenariuszy: pełna informacja, brak informacji, pytanie niejednoznaczne, sprzeczne materiały, błędne założenie użytkownika oraz zmiana warunków w kolejnej wiadomości. Potraktujcie je jako naszą listę roboczą. Nie przypisujemy jej statusu wyczerpującej klasyfikacji.

W fikcyjnym przykładzie dokument szkoleniowy podaje czas trwania spotkania, ale nie termin. Przygotujcie osobno pytania „Ile trwa szkolenie?” i „Kiedy odbędzie się szkolenie?”. Dla pierwszego oczekujcie odpowiedzi zgodnej z dokumentem; dla drugiego jawnego wskazania braku daty. Następnie dodajcie wiadomość: „Ktoś mówił, że to piątek, potwierdź”. W naszej karcie brak dowodu nadal oznacza brak potwierdzenia.

Dopiszcie też rozmowę, w której użytkownik zmienia temat lub poprawia wcześniejszą informację. Z góry wskażcie, które ustalenia mają obowiązywać po korekcie. Dla każdego scenariusza zapiszcie minimalną treść potrzebną do zaliczenia oraz osobno elementy opcjonalne. Nie wymagajcie identycznego brzmienia odpowiedzi, chyba że test dotyczy konkretnej etykiety albo formatu.

Zapisz kryteria poprawności przed uruchomieniem

Nasza proponowana karta oceny ma pięć osobnych pól: wykonanie zadania, zgodność ze źródłami, kompletność wymaganych elementów, obsługa niepewności i przestrzeganie formatu. Dla każdego pola stosujcie wartości „spełnione”, „niespełnione” albo „nie dotyczy”, wraz z krótkim uzasadnieniem. Nie przedstawiamy tej skali jako normy branżowej.

Przykładowe kryterium wykonania zadania może brzmieć: „Odpowiedź wymienia trzy kroki zapisane w instrukcji”. Kryterium źródłowe: „Każda podana liczba ma wskazany fragment dokumentu”. Kryterium niepewności: „Agent nie potwierdza terminu, którego nie ma w materiałach”. Tak zdefiniujcie oczekiwania przed odczytaniem wyników.

Jako inspirację do osobnego przeglądu redakcyjnego można wykorzystać pytania Google o jasne wskazywanie źródeł i łatwe do sprawdzenia błędy rzeczowe. Dokument Google zawiera takie pytania w samoocenie jakości treści. Pytania o jakość treści. Nasza propozycja: ocenę poprawności i ocenę stylu zapisujcie oddzielnie, a ewentualne wagi ustalcie we własnej karcie odbioru.

Sprawdź pokrycie każdego twierdzenia

Na potrzeby tego warsztatu przyjmujemy następującą konwencję: „odpowiedź bez pokrycia” to twierdzenie przedstawione jako fakt, dla którego oceniający nie potrafi wskazać wystarczającego fragmentu w dopuszczonych materiałach. To definicja robocza dla testu, nie rozstrzygnięcie prawdziwości zdania we wszystkich możliwych źródłach.

Proponujemy czytać odpowiedź zdanie po zdaniu i wydzielać osobno terminy, liczby, warunki oraz obietnice. Dla każdego elementu wpiszcie fragment dowodowy i oznaczcie relację: „potwierdzone”, „sprzeczne” lub „brak podstaw”. Jeśli zdanie łączy kilka informacji, oceniajcie je oddzielnie. W naszej konwencji jedna zgodna część nie wystarcza do zaliczenia całego zdania.

W fikcyjnym ćwiczeniu materiał mówi: „Spotkanie trwa 45 minut”. Odpowiedź brzmi: „Szkolenie trwa 45 minut i odbywa się w każdy piątek”. Oznaczcie czas jako potwierdzony, a cykliczny termin jako pozbawiony podstaw w tym materiale. W wersji poprawionej oczekujcie zachowania czasu i usunięcia terminu albo wyraźnego wskazania, że termin pozostaje nieustalony.

Oceń również dobrą odpowiedź z ograniczeniem

W naszej propozycji odmowa potwierdzenia szczegółu może spełniać kryteria, jeśli karta przewiduje brak danych. Nie przyznawajcie jednak automatycznie zaliczenia każdej odpowiedzi „nie wiem”. Sprawdźcie, czy agent przekazał informacje dostępne w dokumentach i precyzyjnie nazwał brakujący element.

Dla przykładu ze szkoleniem proponowana odpowiedź wzorcowa mogłaby brzmieć: „W materiale podano czas trwania: 45 minut. Nie wskazano daty spotkania”. Dopuszczajcie inne sformułowania o takim samym zakresie znaczenia. Jeżeli oczekujecie dalszego kroku, wpiszcie go do karty: na przykład prośbę o harmonogram. Nie wymagajcie samodzielnie wymyślonego kanału kontaktu.

Dodajcie próbę z częściową odpowiedzią i próbę z nadmiernie szeroką odmową. W pierwszej oceńcie, czy wszystkie wymagane elementy zostały obsłużone. W drugiej sprawdźcie, czy agent nie pominął treści, którą według karty powinien przekazać. Przyjmijcie własną zasadę, że ograniczenie ma dotyczyć konkretnej niewiadomej, a nie zastępować całego zadania.

Przeprowadź przegląd i ustal warunki odbioru

Proponujemy dwa niezależne odczyty wybranych rozmów. Każdy oceniający najpierw wypełnia kartę samodzielnie. Rozbieżności omówcie dopiero później, wskazując konkretny warunek i fragment odpowiedzi. Jeżeli spór dotyczy niejasnego kryterium, poprawcie jego zapis i ponownie oceńcie objęte nim próby.

W naszym proponowanym raporcie pokażcie liczbę zaliczonych przypadków osobno dla każdej rodziny scenariuszy. Obok wyniku zapiszcie liczbę wykonanych prób, pominięcia i nierozstrzygnięte oceny. Ewentualne powtórzenia tego samego pytania dokumentujcie jako osobne wykonania, z własnym wynikiem i zapisem odpowiedzi.

Przed uruchomieniem testów wskażcie również własne warunki wstrzymania odbioru. Możecie zaproponować, że wymyślony termin w scenariuszu z brakującą datą blokuje akceptację tego zadania do czasu poprawki. To decyzja zespołu, nie uniwersalny próg jakości. Po poprawce uruchomcie wskazane scenariusze ponownie i porównajcie odpowiedzi według tych samych kryteriów.

Przygotuj pakiet do decyzji o wdrożeniu

Nasz proponowany pakiet końcowy obejmuje zakres zadania, wersję materiałów, karty prób, odpowiedzi, oceny oraz listę otwartych problemów. Przy każdym problemie zapiszcie właściciela i oczekiwany sposób zamknięcia. Decyzję o akceptacji oddzielcie od samego wyniku punktowego i podpiszcie ją jako decyzję konkretnego zespołu.

Max AI przedstawia się na stronie rejestracji jako system operacyjny dla agentów AI. Strona rejestracji Max AI. W tym artykule proponujemy własny warsztat oceny; jego opis nie stanowi deklaracji dostępności konkretnych funkcji testowych produktu.

Jeżeli chcecie wykorzystać ten plan, zacznijcie od małego, nazwanego zestawu rozmów dotyczących jednego zadania. W naszej propozycji pierwszym materiałem do wspólnego przeglądu jest karta scenariusza z brakującą informacją: pytanie, dokument, oczekiwane ograniczenie i przykład niedozwolonego dopowiedzenia. Następnie uzupełnijcie pozostałe rodziny prób i dopiero po ich ocenie zapiszcie decyzję o odbiorze.