Jak oceniać kompetencje w zakresie AI? Od uczniów po pracowników

Ocena kompetencji w zakresie AI oznacza mierzenie naszej zdolności do zadawania pytań, weryfikowania, podejmowania decyzji i stawiania człowieka w centrum dokonywanych wyborów.
W miarę jak sztuczna inteligencja
staje się częścią codziennej nauki i pracy, organizacje stają przed nowym
pytaniem: jak właściwie oceniać kompetencje w zakresie AI?
Stosunkowo łatwo jest sprawdzić,
czy ktoś potrafi zdefiniować uczenie maszynowe, wyjaśnić, czym jest halucynacja
AI, lub rozpoznać chatbota. Znacznie trudniej ustalić, czy uczeń lub pracownik
potrafi rozpoznać niewiarygodną odpowiedź AI, zidentyfikować stronniczość,
zweryfikować dowody, zakwestionować automatyczną rekomendację lub zrozumieć,
kiedy decyzja musi pozostać w rękach człowieka.
Dlatego ocena kompetencji w
zakresie AI nie może opierać się wyłącznie na tradycyjnych quizach. Kompetencje
w zakresie AI łączą wiedzę, praktyczne wykorzystanie, krytyczną ocenę,
odpowiedzialne użycie, ludzki osąd i rozwiązywanie problemów. Model oceny musi
odzwierciedlać tę złożoność.
W szkołach oznacza to wyjście poza
sprawdzanie znajomości terminologii AI.
W przedsiębiorstwach oznacza to
wyjście poza pytanie, czy pracownicy ukończyli kurs uświadamiający dotyczący
AI.
W obu przypadkach prawdziwe pytanie
brzmi, czy ludzie potrafią korzystać z AI krytycznie i odpowiedzialnie w
realistycznych sytuacjach.
Od wiedzy o AI do podejmowania decyzji z AI
Tradycyjna ocena mogłaby zawierać
pytania:
- Czym jest generatywna AI ?
- Czym jest
stronniczość ?
- Czym jest
halucynacja AI ?
- Czym jest
uczenie maszynowe ?
Te pytania nadal mają znaczenie,
ponieważ podstawowa wiedza jest ważna. Jednak znajomość definicji nie świadczy
jeszcze o kompetencji.
Wiedza o tym, czym jest
halucynacja, nie dowodzi, że ktoś potrafi ją rozpoznać w raporcie wygenerowanym
przez AI.
Świadomość, że AI może zawierać
stronniczość, nie oznacza, że pracownik potrafi ją wykryć w rekomendacji
rekrutacyjnej ani że uczeń potrafi ją rozpoznać w wyjaśnieniu historycznym
wygenerowanym przez AI.
Umiejętność napisania promptu nie
musi oznaczać, że ktoś rozumie, w jaki sposób kontekst, jakość informacji
przekazanych AI lub wybór modelu mogą wpływać na odpowiedź oraz czy można jej
zaufać.
Lepsza ścieżka rozwoju wygląda
następująco :
Wiem, czym jest AI →
potrafię z niej korzystać → potrafię ją kwestionować →
potrafię ją oceniać → potrafię z nią tworzyć →
potrafię podejmować odpowiedzialne decyzje dotyczące jej wykorzystania.
Ta ścieżka ma takie samo
zastosowanie w edukacji i w miejscu pracy.
Kompetencje w zakresie AI są wielowymiarowe
Rzetelna ocena powinna obejmować
kilka wymiarów.
1.
Wiedza
Czy osoba ucząca się rozumie takie pojęcia jak dane, algorytmy, generatywna AI,
uczenie maszynowe, stronniczość, halucynacje i prywatność?
2.
Praktyczne wykorzystanie
Czy potrafi skutecznie używać AI do odpowiedniego zadania?
3. Krytyczna ocena
Czy potrafi zakwestionować odpowiedź, porównać wyniki, zweryfikować
twierdzenia, rozpoznać niepewność i wskazać brakujące dowody?
4. Odpowiedzialne wykorzystanie
Czy rozumie poufność, prywatność, własność intelektualną, uczciwość akademicką
lub zawodową, sprawiedliwość i bezpieczne korzystanie?
5. Ludzki osąd
Czy potrafi rozpoznać, kiedy AI może wspierać decyzję, a kiedy odpowiedzialność
musi pozostać po stronie człowieka?
6. Tworzenie i rozwiązywanie
problemów
Czy potrafi wykorzystać AI do rozwiązania istotnego problemu, rozumiejąc
jednocześnie jej ograniczenia?
Kompetencje w zakresie AI są więc
bliższe modelowi kompetencyjnemu niż tradycyjnemu egzaminowi przedmiotowemu.
To sprawia również, że kompetencje
w zakresie AI mają znaczenie daleko poza szkołą.
Te same umiejętności są coraz
ważniejsze dla zespołów HR, menedżerów, pracowników obsługi klienta,
inżynierów, marketerów, pracowników ochrony zdrowia oraz wszystkich osób
korzystających w pracy z informacji generowanych przez AI.
Różne konteksty wymagają różnych metod oceny
Zasada jest ta sama, ale sytuacje
powinny odpowiadać osobie uczącej się.
Uczeń może zostać poproszony o
porównanie dwóch wyjaśnień wygenerowanych przez AI i wskazanie, które
twierdzenia wymagają weryfikacji.
Menedżer może otrzymać wygenerowaną
przez AI rekomendację dotyczącą wyników pracownika i musi zdecydować, jakie
dowody należy przeanalizować przed podjęciem działania.
Rekruter może przeanalizować listę
kandydatów wygenerowaną przez AI i ocenić, czy rekomendacja może zawierać
stronniczość.
Pracownik marketingu może ocenić
analizę rynku wygenerowaną przez AI i wskazać stwierdzenia wymagające
weryfikacji źródeł.
Pracownik obsługi klienta może
zdecydować, czy odpowiedź wygenerowana przez AI nadaje się do wysłania
klientowi, czy wymaga interwencji człowieka.
W tym miejscu szczególnie przydatna
staje się interaktywna platforma edukacyjna. Ocena może przejść od
abstrakcyjnych pytań do realistycznych decyzji, zamiast jedynie sprawdzać, czy
osoba ucząca się pamięta terminologię.
Kompetencje w zakresie AI wymagają czegoś więcej niż
pytań wielokrotnego wyboru
Pytania wielokrotnego wyboru
pozostają przydatne do sprawdzania podstawowej wiedzy, ale powinny stanowić
tylko jedną część oceny.
Bardziej kompleksowa ocena może
łączyć kilka formatów.
Zadania rozpoznawania
Pokaż osobom uczącym się treść
wygenerowaną przez AI i poproś o wskazanie:
- niepopartego dowodami twierdzenia;
- informacji
poufnych;
- możliwej
stronniczości;
- mylącej
pewności;
- zmanipulowanych
treści wizualnych;
- stwierdzenia
wymagającego weryfikacji.
Hotspoty i zadania oparte na
rozpoznawaniu wizualnym są szczególnie przydatne, ponieważ sprawdzają, czy ktoś
potrafi zauważyć problem, a nie tylko go zdefiniować.
Scenariusze decyzyjne
Kompetencje w zakresie AI często
dotyczą podejmowania decyzji, a nie jedynie udzielania poprawnych lub błędnych
odpowiedzi faktograficznych.
Wyobraźmy sobie, że system AI
zaleca odrzucenie kandydata do pracy na podstawie danych historycznych.
Osobie uczącej się można zadać
pytanie:
Co powinno wydarzyć się dalej?
Zaakceptować rekomendację?
Poprosić o weryfikację przez człowieka?
Przeanalizować dane źródłowe?
Sprawdzić możliwą stronniczość?
Poprosić o dodatkowe dowody?
Scenariusz rozgałęziony ocenia, jak
osoba ucząca się stosuje zasadę w konkretnym kontekście. Ten rodzaj
doświadczenia jest szczególnie przydatny w narzędziu AI do tworzenia treści dla
L&D, ponieważ organizacje mogą odtwarzać sytuacje, z którymi pracownicy
rzeczywiście się spotykają.
Porównywanie wyników AI
Osoby uczące się mogą porównywać:
- dwa modele;
- dwa
prompty;
- odpowiedzi
wygenerowane przez AI z różnych perspektyw;
- ogólną
odpowiedź modelu oraz odpowiedź opartą na zaufanych źródłach.
Następnie mogą wskazać różnice w
dowodach, założeniach, niepewności, kompletności i stronniczości.
Ocena pewności
Poziom pewności dodaje kolejny
wymiar.
Osoba, która udziela poprawnej
odpowiedzi z niską pewnością, może potrzebować utrwalenia wiedzy. Osoba, która
udziela błędnej odpowiedzi z bardzo wysoką pewnością, może stanowić większe
ryzyko.
Jest to szczególnie istotne w
przypadku kompetencji w zakresie AI, ponieważ sama generatywna AI może
przedstawiać nieprawidłowe informacje z pozorną pewnością.
Kategoryzacja
Osoby uczące się mogą klasyfikować
przykłady jako: Wiarygodne / Wymaga weryfikacji / Niebezpieczne
Lub: Decyzja człowieka /
Decyzja wspierana przez AI / AI nie powinna decydować
Sprawdza to praktyczne
rozróżnienia, które mają znaczenie zarówno w edukacji, jak i przy wykorzystaniu
AI w przedsiębiorstwach.
Kontrola człowieka przed i po ocenie wspieranej przez
AI
Gdy AI uczestniczy w procesie
oceny, nadzór człowieka powinien być zaprojektowany jako integralna część
procesu, a nie dodawany później.
Jest to szczególnie ważne w
kontekstach objętych unijnym Aktem w sprawie AI. Rozporządzenie klasyfikuje
niektóre systemy AI wykorzystywane w edukacji i kształceniu zawodowym jako
systemy wysokiego ryzyka, gdy oceniają wyniki uczenia się, decydują o dostępie
lub w istotny sposób wpływają na ścieżkę edukacyjną lub zawodową danej osoby.
Dlatego rozsądny model kontroli
człowieka w procesie oceny obejmuje dwa punkty kontrolne:
Przed oceną
Nauczyciel, trener, projektant
dydaktyczny lub upoważniony ekspert merytoryczny powinien zatwierdzić:
- cele uczenia się;
- mierzone
kompetencje;
- pytania i
scenariusze oceny;
- logikę
punktacji;
- adekwatność
wszelkich treści wygenerowanych przez AI;
- wykorzystane
źródła;
- rolę,
jaką AI może pełnić.
AI może pomóc przyspieszyć
tworzenie, ale to człowiek zatwierdza, co i w jaki sposób jest oceniane.
Po ocenie
Jeżeli AI wspiera interpretację,
punktację lub rekomendacje, wykwalifikowany człowiek powinien przeanalizować
wynik, zanim zostanie on wykorzystany do podjęcia decyzji o istotnych
konsekwencjach.
Oznacza to sprawdzenie:
- czy wynik jest racjonalny;
- czy jest
poparty dowodami;
- czy mogła
wystąpić stronniczość lub nieoczekiwane zachowanie;
- czy
wyjątkowe przypadki wymagają zbadania;
- czy osoba
ucząca się powinna mieć możliwość weryfikacji lub odwołania, jeśli jest to
właściwe.
Zasada jest prosta:
Weryfikacja przez człowieka
przed →
ocena wspierana przez AI → weryfikacja przez człowieka po.
Co ważne, nie każdy quiz
szkoleniowy ani ocena wspierana przez AI automatycznie staje się systemem
wysokiego ryzyka w rozumieniu unijnego Aktu w sprawie AI; klasyfikacja zależy
od celu i sposobu wykorzystania, jednak kontrola człowieka jest dobrą zasadą projektową
również wtedy, gdy szczególne przepisy dotyczące wysokiego ryzyka nie mają
zastosowania.
Jak Mexty
wspiera bardziej kompleksową ocenę kompetencji w zakresie AI
Moduł Evaluation w Mexty został zaprojektowany tak, aby
łączyć różne formaty oceny w jedno punktowane doświadczenie.
Ocena może obejmować:
- tradycyjne quizy;
- hotspoty
i rozpoznawanie wizualne;
- rozgałęzione
ścieżki decyzyjne;
- losowe
banki pytań;
- ocenę
pewności;
- kategoryzację;
- zadania
porównawcze;
- scenariusze
praktyczne.
Istniejący moduł umożliwia również
organizowanie ocen wokół jasno określonych celów zamiast tworzenia ogólnego
„testu z AI”.
Przykładowy cel może brzmieć:
Ocenić, czy osoba ucząca się
potrafi rozpoznać niewiarygodny wynik AI, zweryfikować odpowiednie dowody i
zdecydować, kiedy wymagana jest interwencja człowieka.
Następnie wokół tej kompetencji
można zestawić odpowiednie aktywności.
W tym miejscu znaczenia nabiera
szersze pozycjonowanie Mexty jako platformy AI-native do tworzenia interaktywnych
doświadczeń edukacyjnych. Ocena jest połączona z doświadczeniem edukacyjnym,
zamiast funkcjonować jako oddzielny quiz na zakończenie kursu.
Dla zespołów L&D to samo
środowisko może pomóc uprościć proces projektowania dydaktycznego poprzez
połączenie tworzenia, interaktywnych aktywności i oceny. W edukacji może
wspierać stopniową ocenę kompetencji w zakresie AI w ramach kursów i ścieżek edukacyjnych.
Jako bezpieczna infrastruktura
edukacyjna AI-Native, Mexty
ma wspierać zarówno twórców, jak i osoby uczące się, zachowując centralną rolę
weryfikacji przez człowieka.
Platforma może również wspierać
doświadczenia edukacyjne zgodne ze standardem SCORM dla organizacji, które
muszą dostarczać treści za pośrednictwem istniejących środowisk LMS, a
Interactive Course Creator i funkcje oceny Mexty pozwalają wyjść poza bierne przyswajanie treści.
Ocena powinna odzwierciedlać rzeczywiste wykorzystanie
AI
Kompetencje w zakresie AI będą
miały coraz większe znaczenie zarówno w salach lekcyjnych, jak i w miejscach
pracy. Uczniowie muszą wiedzieć, czy można zaufać odpowiedzi wygenerowanej
przez AI, a pracownicy — czy rekomendacja wygenerowana przez AI powinna wpływać
na decyzję dotyczącą klienta, rekrutacji, finansów lub działalności
operacyjnej. Menedżerowie muszą również rozumieć, w czym AI może ich wspierać i
za co nadal ponoszą odpowiedzialność.
Celem oceny nie może więc być po
prostu pytanie: „Czy ta osoba zna terminologię AI?”
Powinno ono brzmieć:
Czy ta osoba rozumie AI?
Czy potrafi odpowiednio z niej korzystać?
Czy potrafi ją kwestionować?
Czy potrafi rozpoznać niepewność i stronniczość?
Czy potrafi zweryfikować dowody?
Czy potrafi podjąć odpowiedzialną decyzję?
I czy wie, kiedy kontrola musi pozostać w rękach człowieka?
Na tym polega przejście od
sprawdzania wiedzy o AI do oceny kompetencji w zakresie AI.
W miarę jak AI staje się integralną
częścią edukacji i pracy, ta kompetencja może stać się jednym z najważniejszych
rezultatów, które bezpieczna infrastruktura edukacyjna AI-native może pomóc
organizacjom rozwijać i mierzyć.
O Mexty ….
Mexty przekształca naukę w
spersonalizowane doświadczenia zaprojektowane tak, aby wspierać rzeczywiste
wyniki.
Odkryj,
jak nauka AI-native może przekształcić wiedzę w działanie dzięki Mexty.
Poznaj Mexty: platformę edukacyjną opartą na AI, która przekształca wiedzę w angażujące
doświadczenia, realne umiejętności, trwałą zmianę zachowań i mierzalne
rezultaty.
To właśnie tutaj Mexty zmienia sposób, w jaki
działa nauka.
Wyjdź
poza tradycyjny e-learning z Mexty, gdzie AI przekształca Twoją wiedzę
ekspercką w spersonalizowane ścieżki edukacyjne, które angażują, inspirują i
przynoszą realne efekty.
Gdy już
poznasz i wypróbujesz Mexty, z przyjemnością
poznamy Twoją opinię!
Podziel się z
nami swoimi doświadczeniami i wrażeniami dotyczącymi tego nowego,
interaktywnego sposobu uczenia się i tworzenia. Twoja opinia jest dla nas
bardzo cenna.
Nie przegap najnowszych wiadomości. Obserwuj Mexty i odwiedź Mexty.ai, aby odkryć, co będzie dalej!
Jeśli spodobał Ci się ten artykuł, kolejne również na pewno Ci
się spodobają.Umiejętność korzystania ze sztucznej inteligencji powinna stać się kluczową kompetencją szkolną, a nie opcjonalną umiejętnością cyfrową |
