Czy ChatGPT jest gotowy na egzamin ISTQB? Granice między sztuczną inteligencją, a ludzkimi umiejętnościami.
Spis treści
Wprowadzenie do Chatu GPT
W ostatnim czasie sztuczna inteligencja staje się coraz bardziej popularna. Jednym z najnowszych osiągnięć w tej dziedzinie jest ChatGPT – potężny model językowy, zdolny do generowania realistycznego i zrozumiałego tekstu. Panuje przekonanie, że ChatGPT jest w stanie przejąć wiele zawodów kreatywnych takich jak nauczyciel, grafik, a nawet zastąpić programistę czy … testera ?!
Jak jest naprawdę? Czy już dziś ChatGPT może pochwalić się wiedzą i umiejętnościami niezbędnymi do zdania egzaminu ISTQB?
Sprawdzimy to w dzisiejszym artykule.
Krótko o ISTQB
ISTQB (International Software Testing Qualifications Board) to międzynarodowa organizacja zajmująca się standaryzacją, certyfikacją i promocją wiedzy z zakresu testowania oprogramowania. Zdobycie certyfikacji ISTQB oznacza, że dana osoba rozumie podstawy testowania oraz potrafi wykorzystać wybrane techniki testów dla efektywnej pracy. Stanowi to obecnie swoisty „must-have” dla osób, które chcą rozpocząć pracę w branży.
Czym jest Chat GPT?
ChatGPT to zaawansowany model językowy oparty na architekturze GPT (Generative Pre-trained Transformer), rozwijany przez OpenAI. Odnosi się on do technologii uczenia maszynowego, która wykorzystuje sieci neuronowe do generowania tekstów o wysokiej jakości.
ChatGPT został specjalnie wytrenowany do interakcji z użytkownikami w formie konwersacji. Model ten ma zdolność do rozumienia kontekstu, generowania odpowiedzi na zadane pytania i wypowiadania się na różne tematy.
ChatGPT ma wiele praktycznych zastosowań, takich jak chatboty, asystenci wirtualni, personalizowane sugestie tekstowe i wiele innych. Może być wykorzystywany do udzielania informacji, rozwiązywania problemów, dostarczania treści lub jako narzędzie do interakcji i komunikacji.
Twórcy jednak przestrzegają przez zbytnią ufnością w otrzymywane odpowiedzi, ponieważ te mogą być generowanie niepoprawnie lub nierzetelnie z względu na brak wiedzy kontekstowej spoza treningu, któremu został poddany.
Warunki egzaminu ISTQB
ChatGPT zostanie poddany egzaminowi składającemu się z pytań zawartych w przykładowych egzaminach ISTQB 2018 dostępnych na stronie SJSI. Wersja ChatGPT z której będę korzystał to 3.5, która nie posiada jeszcze możliwości interpretowania obrazów. Dlatego w przykładowych pytaniach egzaminacyjnych, które wybrałem będą jedynie pytania tekstowe bez diagramów i innych schematów.
Aby zdać egzamin ChatGPT będzie musiał odpowiedzieć poprawnie na 26 z 40 pytań. Będzie też musiał zmieścić się w czasie 60 minut.
Rodzaje pytań z względu na cel nauczania
ISTQB poziom podstawowy rozróżnia trzy rodzaje pytań:
- K1 – zapamiętać (kandydat zapamięta, podaje pojęcia, definicję lub własność)
- K2 – zrozumieć (kandydat rozumie pojęcie i potrafi porównać np. dwa pojęcia czy też wskazać wady i zalety określonych pojęć)
- K3 – zastosować (kandydat zna i rozumie określoną metodę lub technikę oraz potrafi ją wykorzystać w praktyce)
Egzamin z Chatem GPT czas zacząć!
Na początek wybrałem typowe pytanie o warunek testowy. Pytanie było z kategorii K1 (wykuć), dlatego miałem cichą nadzieję, że będzie to dobre pytanie rozgrzewkowe. ChatGPT mnie nie zawiódł i poprawnie wskazał poprawną odpowiedź.
Pozytywnie zaskoczyły mnie też pierwsze pytania z grupy K2, gdzie ChatGPT nie tylko musiał znać definicję pojęć, ale wskazać też między nimi różnice.
Szczególne wrażenie wywarło na mnie gdy odpowiedział poprawnie na pytanie z treścią o panu Testerskim, który nie przestrzegał jednej z 7 podstawowych zasad testowania.
I kiedy już myślałem, że to koniec i jesteśmy zgubieni jako testerzy, ChatGPT potknął się na pytaniu nr 8 w kategorii K2!
Być może utrudnieniem w tym pytaniu było połączenie aż 4 elementów z sobą – tutaj warto wspomnieć, że sam ChatGPT ma problemy z podstawowymi operacjami matematycznymi.
Niestety z czasem okazało się, że po tym pytaniu ChatGPT przestał być nieomylny i mylił się dość często. Już w kolejnym pytaniu z grupy K1 nie potrafił połączyć testowania białoskrzynkowego z etapem testowania akceptacyjnego.
ChatGPT sporadycznie potrafił też zabłysnąć poprawną odpowiedzią z kategorii K3. Jak to miało miejsce w pytaniu nr 25, gdzie miał podać ilość przypadków testowych potrzebnych do uzyskania 100% pokrycia metodą podziału na klasy równoważności.
Aby zobaczyć jak Chat GPT radzi sobie z wybranymi
pytaniami zachęcam Cię do obejrzenia materiału https://www.youtube.com/@TuJestBug
Zestaw pytań i odpowiedzi w formie pdf znajdziesz poniżej
Wyniki egzaminu
Czyli odpowiedź na najważniejsze pytanie- czy ChatGPT 3.5 zdał egzamin ISTQB na poziomie podstawowym
Wyniki prezentują się następująco:
Typ pytania | Ilość pytań | Ilość poprawnych odpowiedzi | Procentowo |
K1 | 9 | 7 | 78% |
K2 | 25 | 12 | 48% |
K3 | 6 | 2 | 33% |
ChatGPT uzyskał łącznie 21 punktów, otrzymując w ten sposób zaledwie 53%, co na ten moment nie pozwala uznać egzaminu za zaliczony.
Przedstawione wyniki pokazują też, że ChatGPT najlepiej radził sobie z pytaniami typowo pamięciowymi, nieco gorzej z pytaniami, gdzie należało wykazać się zrozumieniem zagadnień, a najgorzej w praktycznym zastosowaniu wiedzy.
Myślę, że jest to dobra wiadomość dla wszystkich z Was, którzy obawiają się o utratę swojej pracy – to jeszcze nie dziś 😉
Podsumowanie
Nie mógłbym tytułować się testerem, gdybym przeprowadził tylko 1 egzamin w 1 oknie rozmowy z ChatemGPT. Powtórzyłem egzamin trzykrotnie uzyskując zbliżoną ilość punktów (21,22,21). Co ciekawe, choć błędy pojawiały się w tych samych pytaniach, to w niektórych zestawach egzaminacyjnych ChatGPT podawał inną odpowiedź i równie wytrwale jej bronił co w pierwszym egzaminie.
Przypomnę jedynie na koniec, że egzamin przeprowadzany był na wersji ChatGPT 3.5, która bazuje na wiedzy z roku 2021, nie ma dostępu do najnowszej wersji sylabusa z strony sjsi. Natomiast jest już dostępna wersja ChatGPT w wersji 4, gdzie możemy mu przesłać plik PDF do zapoznania przed egzaminem. Podejrzewam, że wówczas, może on uzyskać nieco lepszy wynik.
A Ty co sądzisz o ChatGPT? Czy obawiasz się, że ChatGPT w przyszłości zastąpi całkowicie Twoją, a może dostrzegasz szansę na oddelegowanie części swoich zadań? Koniecznie daj znać co myślisz w komentarzu!
0 komentarzy