Testowanie AI to nie narzędzia - co trochę zaskoczyło uczestników

W zeszłym tygodniu poprowadziłem czterodniowe szkolenie ISTQB Certified Tester - AI Testing (CT-AI) dla zamkniętej grupy doświadczonych testerów w Szczecinie. To byli eksperci z wieloletnim stażem - konkretni, zaangażowani i bardzo świadomi swojej roli w procesie jakości. Szkolenie przebiegło bardzo sprawnie - uczestnicy aktywnie się angażowali, zadawali trafne pytania i dzielili się doświadczeniem. Wszystko wskazywało na to, że jesteśmy na dobrej drodze. Dopiero po przeczytaniu ankiet ewaluacyjnych zobaczyłem inny obraz. Pojawił się jeden, powtarzający się motyw:

“Spodziewałem się więcej narzędzi." "Myślałem, że będzie bardziej praktycznie." "Za dużo teorii."

I wtedy dotarło do mnie: mieliśmy do czynienia z klasycznym przypadkiem rozminięcia się oczekiwań z rzeczywistością - typowym dla szkoleń ISTQB.

Czym naprawdę jest CT-AI (i czym nie jest)

Powiedzmy to otwarcie:  ISTQB CT-AI Testing to nie jest kurs narzędziowy. Nie uczymy konfiguracji bibliotek, nie tworzymy pipeline’ów, nie piszemy kodu pod modele. To szkolenie koncepcyjne, mocno osadzone w teorii - i takie właśnie musi być. Bo problemy związane z testowaniem systemów AI rzadko wynikają z braku znajomości konkretnego narzędzia. Częściej wynikają z błędnych założeń, nieprzejrzystych danych, niedeterministycznych wyników i trudnych do wykrycia uprzedzeń. Tego nie da się "załatwić" frameworkiem. Około 40% czasu przeznaczyliśmy na ćwiczenia - analizę przypadków, identyfikację ryzyk, ocenę jakości modeli. To nie były suche wykłady, ale mimo wszystko - to nadal ISTQB. Główną wartością jest tu zrozumienie, nie zestaw gotowych rozwiązań.

Nieuświadomione oczekiwania

Nikt podczas szkolenia nie powiedział wprost, że brakuje mu narzędzi. Nie padło żadne pytanie w stylu "kiedy wreszcie coś zainstalujemy?". Atmosfera była dobra, zaangażowanie - wysokie. Ale lektura ankiet pokazała, że część uczestników miała inną wizję tego, czym to szkolenie będzie. To nie była frustracja. To było niedopasowanie. Ciche, ale istotne. I to mi przypomniało, że przygotowując szkolenie, trzeba zadbać nie tylko o merytorykę, ale i o precyzyjne ustawienie oczekiwań. Bo nawet najlepsze treści mogą zostać źle odebrane, jeśli ktoś przyszedł po coś zupełnie innego.

Prawdziwe wyzwania w testowaniu AI

Podczas szkolenia rozmawialiśmy o problemach, które nie pojawią się w typowym raporcie testowym:

• Jak testować model, który potrafi na te same dane wejściowe zwrócić różne odpowiedzi?
• Co oznacza "sprawiedliwość" i "wyjaśnialność" w kontekście sztucznej inteligencji?
• Jak zdefiniować jakość, gdy nie mamy jednego punktu odniesienia?

To nie są akademickie dylematy. To są prawdziwe, bieżące wyzwania, które już dziś dotykają zespoły testerskie pracujące z AI. Właśnie dlatego powstało CT-AI.

Czy to szkolenie jest dla Ciebie?

Jeśli szukasz gotowego zestawu narzędzi do testowania AI - to nie ten adres. Ale jeśli chcesz zrozumieć, jak działają systemy uczące się, gdzie i dlaczego mogą zawodzić oraz jak zmienia się rola testera w świecie AI - to szkolenie wnosi ogromną wartość. Trzeba tylko wiedzieć, na co się piszesz.

Na koniec

W AmberTeam będziemy dalej prowadzić szkolenia CT-AI. Ale jedno jest pewne: będziemy jeszcze wyraźniej podkreślać, czym to szkolenie jest, a czym nie jest. To nie jest kurs "jak używać AI". To jest szkolenie "jak testować (z) AI" - i to są dwie zupełnie różne kompetencje. Jeśli zastanawiasz się nad tą certyfikacją albo myślisz o szkoleniu dla swojego zespołu - porozmawiajmy. Wolę szczerą rozmowę na początku niż rozczarowanie w ankiecie na końcu.