AI 리터러시를 어떻게 평가할 것인가? 학생에서 직원까지

AI 리터러시를 평가한다는 것은 질문하고, 검증하고, 판단하며, 모든 선택의 중심에 인간을 두는 우리의 능력을 측정하는 것입니다.
AI 리터러시를 어떻게 평가할 것인가? 학생에서 직원까지
인공지능이 일상적인 학습과 업무의 일부가 되면서, 조직은 새로운 질문에 직면하고 있습니다. 실제로
AI 리터러시를 어떻게 평가해야 할까요?
누군가가 머신러닝을 정의할 수 있는지, AI 환각이 무엇인지 설명할 수 있는지, 또는 챗봇을 식별할
수 있는지를 테스트하는 것은 비교적 쉽습니다. 하지만 학생이나 직원이 신뢰할 수 없는 AI 답변을 알아보고, 편향을 식별하고, 근거를 검증하고,
자동화된 권고에 이의를 제기하며, 어떤 결정이 인간에게 남아 있어야 하는지를 이해할 수 있는지 판단하는 것은 훨씬 더 어렵습니다.
그렇기 때문에 AI 리터러시 평가는 전통적인 퀴즈에만 의존할 수 없습니다. AI 리터러시는 지식,
실제 활용, 비판적 평가, 책임 있는 사용, 인간의 판단, 문제 해결을 결합합니다. 평가 모델은 이러한 복잡성을 반영해야 합니다.
학교에서는 AI 용어를 시험하는 수준을 넘어야 한다는 뜻입니다.
기업에서는 직원이 AI 인식 교육을 이수했는지만 묻는 수준을 넘어야 한다는 뜻입니다.
두 경우 모두 핵심 질문은 사람들이 현실적인 상황에서 AI를 비판적이고 책임감 있게 사용할 수 있는가입니다.
AI에 대해 아는 것에서 AI와 함께 의사결정하는 것으로
전통적인 평가는 다음과 같은 질문을 할 수 있습니다:
- 생성형 AI란 무엇인가?
- 편향이란 무엇인가?
- AI 환각이란 무엇인가?
- 머신러닝이란 무엇인가?
이러한 질문은 여전히 중요합니다. 기초 지식이 중요하기 때문입니다. 그러나 정의를 안다고 해서 역량이
입증되는 것은 아닙니다.
환각의 의미를 안다고 해서 AI가 생성한 보고서에서 환각을 식별할 수 있다는 뜻은 아닙니다.
AI에 편향이 있을 수 있다는 사실을 안다고 해서 직원이 채용 권고에서 편향을 감지하거나 학생이
AI가 생성한 역사 설명에서 편향을 식별할 수 있다는 뜻은 아닙니다.
프롬프트를 작성하는 방법을 안다고 해서 맥락, AI에 제공되는 정보의 품질 또는 모델 선택이 응답에
어떤 영향을 미치는지, 그리고 그 응답을 신뢰해도 되는지를 반드시 이해하는 것은 아닙니다.
더 발전된 단계는 다음과 같습니다:
AI가 무엇인지 안다
→ 사용할 수 있다 → 질문할 수
있다 →
평가할 수 있다 → AI와 함께 창작할 수 있다 → AI에 대해
책임 있는 결정을 내릴 수 있다.
이러한 발전 단계는 교육과 직장 모두에 동일하게 적용됩니다.
AI 리터러시는 다차원적 역량입니다
의미 있는 평가는 여러 차원을 살펴봐야 합니다.
1. 지식
학습자는 데이터, 알고리즘, 생성형 AI, 머신러닝, 편향, 환각, 개인정보 보호와 같은 개념을 이해하고 있는가?
2. 실제 활용
적절한 과업에 AI를 효과적으로 사용할 수 있는가?
3. 비판적 평가
답변에 의문을 제기하고, 결과를 비교하고, 주장을 검증하고, 불확실성을 인식하며, 누락된 근거를 식별할 수 있는가?
4. 책임 있는 사용
기밀성, 개인정보 보호, 지식재산권, 학업 또는 직업적 진실성, 공정성, 안전한 사용을 이해하고 있는가?
5. 인간의 판단
AI가 의사결정을 지원할 수 있는 경우와 인간이 책임을 유지해야 하는 경우를 구분할 수 있는가?
6. 창작과 문제 해결
AI의 한계를 이해하면서 의미 있는 문제를 해결하는 데 AI를 사용할 수 있는가?
따라서 AI 리터러시는 전통적인 교과 시험보다 역량 모델에 더 가깝습니다.
이 때문에 AI 리터러시는 학교를 훨씬 넘어선 영역에서도 중요합니다.
이와 같은 역량은 인사팀, 관리자, 고객 서비스 직원, 엔지니어, 마케터, 의료 종사자 및 업무에서
AI 생성 정보를 사용하는 모든 사람에게 점점 더 중요해지고 있습니다.
상황에 따라 다른 평가가 필요합니다
원칙은 같지만, 상황은 학습자에게 맞아야 합니다.
학생에게 AI가 생성한 두 가지 설명을 비교하고 어떤 주장에 검증이 필요한지 식별하도록 요청할 수
있습니다.
관리자는 직원 성과에 대한 AI 생성 권고를 받고, 조치를 취하기 전에 어떤 근거를 검토해야 하는지
결정해야 할 수 있습니다.
채용 담당자는 AI가 생성한 후보자 명단을 검토하고 권고에 편향이 포함될 가능성이 있는지 평가할 수
있습니다.
마케팅 직원은 AI가 생성한 시장 분석을 평가하고 출처 검증이 필요한 문장을 식별할 수 있습니다.
고객 서비스 담당자는 AI가 생성한 답변을 고객에게 보내도 적절한지, 아니면 인간의 개입이 필요한지
판단할 수 있습니다.
이 지점에서 인터랙티브 학습 플랫폼이 특히 유용해집니다. 평가는 학습자가 용어를 기억하는지만 확인하는
대신 추상적인 질문에서 현실적인 의사결정으로 나아갈 수 있습니다.
AI 리터러시에는 객관식 이상의 평가가 필요합니다
객관식 문항은 기초 지식을 평가하는 데 여전히 유용하지만, 전체 평가의 한 부분에 불과해야 합니다.
더 풍부한 평가는 여러 형식을 결합할 수 있습니다.
인식 과제
학습자에게 AI 생성 결과물을 보여주고 다음 항목을 식별하도록 요청합니다:
- 근거가 없는 주장;
- 기밀 정보;
- 가능한 편향;
- 오해를 불러일으키는
확신;
- 조작된 시각 콘텐츠;
- 검증이 필요한 문장.
핫스팟과 시각적 인식 활동은 단순히 문제를 정의하는 것이 아니라 실제로 문제를 발견할 수 있는지를
평가하기 때문에 특히 유용합니다.
의사결정 시나리오
AI 리터러시는 정답과 오답이 명확한 사실 문제보다 의사결정과 관련되는 경우가 많습니다.
AI 시스템이 과거 데이터를 근거로 구직 지원자를 탈락시키도록 권고한다고 가정해 봅시다.
학습자에게 다음과 같이 물을 수 있습니다:
다음에는 무엇을 해야 하는가?
권고를 수용할 것인가?
인간의 검토를 요청할 것인가?
기초 데이터를 조사할 것인가?
잠재적인 편향을 살펴볼 것인가?
추가 근거를 요청할 것인가?
분기형 시나리오는 학습자가 상황 속에서 원칙을 어떻게 적용하는지 평가합니다. 이러한 경험은 조직이
직원이 실제로 마주하는 상황을 재현할 수 있기 때문에 L&D용 AI 저작 도구에 특히 유용합니다.
AI 결과 비교
학습자는 다음을 비교할 수 있습니다:
- 두 개의 모델;
- 두 개의 프롬프트;
- 서로 다른 관점에서
생성된 AI 답변;
- 일반 모델의 응답과
신뢰할 수 있는 출처에 근거한 응답.
그런 다음 근거, 가정, 불확실성, 완전성, 편향의 차이를 식별할 수 있습니다.
확신도 확인
확신도는 또 하나의 평가 차원을 추가합니다.
정답을 맞혔지만 확신도가 낮은 사람은 보강 학습이 필요할 수 있습니다. 오답을 제시하면서 확신도가
매우 높은 사람은 더 큰 위험을 나타낼 수 있습니다.
이는 생성형 AI 자체도 잘못된 정보를 확신에 찬 방식으로 제시할 수 있기 때문에 AI 리터러시에서
특히 중요합니다.
분류
학습자는 사례를 다음과 같이 분류할 수 있습니다: 신뢰 가능 / 검증 필요 / 안전하지 않음
또는: 인간의 결정 / AI 지원 결정 / AI가 결정해서는 안 됨
이는 교육과 기업의 AI 활용 모두에서 중요한 실질적인 구분을 평가합니다.
AI 지원 평가 전후의 인간 통제
AI가 평가에 관여할 때 인간의 감독은 나중에 덧붙이는 것이 아니라 처음부터 프로세스에 설계되어야
합니다.
이는 특히 EU AI Act의 적용을 받는 맥락에서 중요합니다. 이 규정은 교육 및 직업훈련에서 사용되는
특정 AI 시스템이 학습 성과를 평가하거나, 접근 여부를 결정하거나, 개인의 교육 또는 직업 경로에 중대한 영향을 미치는 경우 고위험으로 분류합니다.
따라서 평가 워크플로에서 합리적인 인간 통제 모델에는 두 개의 확인 지점이 있습니다:
평가 전
교사, 트레이너, 교수설계자 또는 권한을 부여받은 분야 전문가는 다음을 검증해야 합니다:
- 학습 목표;
- 측정되는 역량;
- 평가 질문과 시나리오;
- 채점 논리;
- AI 생성 콘텐츠의
적절성;
- 사용된 출처;
- AI에 허용되는 역할.
AI는 제작 속도를 높이는 데 도움을 줄 수 있지만, 무엇을 어떻게 평가할지는 인간이 승인합니다.
평가 후
AI가 해석, 채점 또는 권고를 지원하는 경우, 중요한 결정에 결과가 사용되기 전에 자격을 갖춘 인간이
이를 검토해야 합니다.
즉, 다음을 확인해야 합니다:
- 결과가 합리적인지;
- 근거가 이를 뒷받침하는지;
- 편향이나 예상치 못한
행동이 발생했을 가능성이 있는지;
- 예외적인 사례에 조사가
필요한지;
- 적절한 경우 학습자에게
재검토 또는 이의를 제기할 기회가 제공되어야 하는지.
원칙은 간단합니다:
사전 인간 검증 → AI 지원 평가
→ 사후 인간 검토.
중요한 점은 모든 교육 퀴즈나 AI 지원 평가가 EU AI Act에 따라 자동으로 고위험 시스템이
되는 것은 아니라는 것입니다. 분류는 목적과 사용 방식에 따라 달라지지만, 특정 고위험 규정이 적용되지 않는 경우에도 인간 통제는 건전한 설계
원칙입니다.
Mexty 가더 풍부한 AI 리터러시 평가를 지원하는 방법
Mexty의 평가 모듈은 서로 다른 평가 형식을 하나의 점수화된 경험으로 결합하도록 설계되었습니다.
평가에는 다음이 포함될 수 있습니다:
- 전통적인 퀴즈;
- 핫스팟 및 시각적
인식;
- 분기형 의사결정 경로;
- 무작위 문항 은행;
- 확신도 확인;
- 분류;
- 비교 활동;
- 실제 시나리오.
기존 모듈은 일반적인 “AI 테스트”를 만드는 대신 명확한 목표를 중심으로 평가를 구성할 수도 있습니다.
예를 들어 목표는 다음과 같을 수 있습니다:
학습자가 신뢰할 수 없는 AI 결과를 식별하고, 관련 근거를 검증하며, 언제 인간의 개입이 필요한지
판단할 수 있는지 평가한다.
그런 다음 해당 역량을 중심으로 적절한 활동을 구성할 수 있습니다.
이 지점에서 인터랙티브 학습 경험을 만드는 AI 네이티브 플랫폼이라는 Mexty의 더
넓은 포지셔닝이 중요해집니다. 평가는 별도의 과정 종료 퀴즈로 존재하는 것이 아니라 학습 경험과 연결됩니다.
L&D 팀의 경우 동일한 환경에서 제작, 인터랙티브 활동, 평가를 연결하여 교수설계 워크플로를
단순화할 수 있습니다. 교육 분야에서는 과정과 학습 경로 전반에 걸쳐 점진적인 AI 리터러시 평가를 지원할 수 있습니다.
AI 네이티브 보안 학습 인프라인 Mexty는 인간의 검증을 프로세스의 중심에 두면서 제작자와 학습자 모두를 지원하도록 설계되었습니다.
또한 기존 LMS 환경을 통해 콘텐츠를 제공해야 하는 조직을 위해 SCORM 호환 학습 경험을 지원할
수 있으며, Mexty의 인터랙티브
코스 제작 도구와 평가 기능을 통해 수동적인 콘텐츠 소비를 넘어서는 평가가 가능합니다.
평가는 현실 세계의 AI 사용을 반영해야 합니다
AI 리터러시는 교실과 직장 모두에서 점점 더 중요해질 것입니다. 학생은 AI가 생성한 답변을 신뢰할
수 있는지 알아야 하고, 직원은 AI가 생성한 권고가 고객, 채용, 재무 또는 운영 결정에 영향을 미쳐야 하는지 판단할 수 있어야 합니다. 또한
관리자는 AI가 무엇을 지원할 수 있는지와 자신에게 어떤 책임이 남아 있는지를 이해해야 합니다.
따라서 평가의 목표는 단순히 “이 사람이 AI 용어를 알고 있는가?”가 될 수 없습니다.
대신 다음을 평가해야 합니다:
이 사람은 AI를 이해할 수 있는가?
적절하게 사용할 수 있는가?
AI의 결과에 이의를 제기할 수 있는가?
불확실성과 편향을 인식할 수 있는가?
근거를 검증할 수 있는가?
책임 있는 결정을 내릴 수 있는가?
그리고 언제 인간이 통제권을 유지해야 하는지 알고 있는가?
이것이 AI 지식을 시험하는 것에서 AI 역량을 평가하는 것으로의 전환입니다.
그리고 AI가 교육과 업무 전반에 자리 잡을수록, 이러한 역량은 AI 네이티브 보안 학습 인프라가
조직의 개발과 측정을 지원할 수 있는 가장 중요한 성과 중 하나가 될 수 있습니다.
Mexty 소개 ….
Mexty는 학습을 실제 성과를 이끌어 내도록 설계된 개인화된 경험으로 전환합니다.
AI 네이티브 학습이 어떻게 지식을 행동으로 바꿀 수 있는지 Mexty와 함께 확인해 보세요.
Mexty를 만나보세요: 지식을 몰입도 높은 경험, 실제 역량, 지속적인 행동 변화, 측정 가능한 성과로 전환하는 AI 기반 학습 플랫폼입니다.
바로 이 지점에서 Mexty는 학습의 방식을 바꿉니다.
Mexty와 함께 전통적인 e러닝을 넘어보세요. AI가 여러분의 전문성을 학습자의 참여와 영감을 이끌고 실질적인 효과를 만들어 내는 개인화된 학습 여정으로 전환합니다.
Mexty를 직접 살펴보고 사용해 보신 후 여러분의 의견을 들려주시면 감사하겠습니다!
새롭고 인터랙티브한 학습 및 제작 방식에 대한 경험과 인상을 공유해 주세요. 여러분의 피드백은
저희에게 매우 소중합니다.
최신 소식을 놓치지 마세요.
Mexty를 팔로우하고 www.Mexty.ai를 방문하여 다음
소식을 확인하세요!
이 글을 즐기셨다면, 다음 기사들도 분명 좋아하실 것입니다.AI 리터러시는 선택적 디지털 기술이 아니라 학교 교육의 핵심 역량이 되어야 합니다 |
