Como avaliar a literacia em IA ? Dos estudantes aos colaboradores

Avaliar o domínio da IA significa medir a nossa capacidade de questionar, verificar, decidir e manter o ser humano no centro das escolhas.
Como avaliar a literacia em IA? Dos estudantes aos colaboradores
À medida que a inteligência artificial passa a fazer parte da aprendizagem e do trabalho quotidianos, as organizações enfrentam uma nova questão: como avaliar realmente a literacia em IA?
É relativamente fácil testar se alguém consegue definir aprendizagem automática, explicar o que é uma alucinação de IA ou identificar um chatbot. É muito mais difícil determinar se um estudante ou colaborador consegue reconhecer uma resposta de IA pouco fiável, identificar enviesamentos, verificar provas, questionar uma recomendação automatizada ou compreender quando uma decisão deve permanecer nas mãos de um ser humano.
É por isso que a avaliação da literacia em IA não pode basear-se apenas em questionários tradicionais. A literacia em IA combina conhecimentos, utilização prática, avaliação crítica, utilização responsável, julgamento humano e resolução de problemas. O modelo de avaliação deve refletir essa complexidade.
Para as escolas, isto significa ir além da avaliação do vocabulário de IA.
Para as empresas, significa ir além de perguntar se os colaboradores concluíram um curso de sensibilização para a IA.
Em ambos os casos, a verdadeira questão é saber se as pessoas conseguem utilizar a IA de forma crítica e responsável em situações realistas.
De conhecer a IA a tomar decisões com a IA
Uma avaliação tradicional poderia perguntar:
O que é a IA generativa?
O que é o enviesamento?
O que é uma alucinação de IA?
O que é a aprendizagem automática?
Estas perguntas continuam a ser importantes porque os conhecimentos fundamentais são importantes. Mas conhecer uma definição não demonstra uma competência.
Saber o que significa alucinação não prova que alguém consiga reconhecê-la num relatório gerado por IA.
Saber que a IA pode conter enviesamentos não significa que um colaborador consiga detetá-los numa recomendação de recrutamento ou que um estudante consiga identificá-los numa explicação histórica gerada por IA.
Saber escrever um prompt não significa necessariamente que alguém compreenda como o contexto, a qualidade das informações fornecidas à IA ou a escolha do modelo podem influenciar a sua resposta, nem se essa resposta deve ser considerada fiável.
Uma progressão mais sólida é:
Sei o que é a IA → Consigo utilizá-la → Consigo questioná-la → Consigo avaliá-la → Consigo criar com ela → Consigo tomar decisões responsáveis sobre ela.
Esta progressão aplica-se igualmente à educação e ao mundo do trabalho.
A literacia em IA é uma competência multidimensional
Uma avaliação significativa deve analisar várias dimensões.
1. Conhecimentos
O formando compreende conceitos como dados, algoritmos, IA generativa, aprendizagem automática, enviesamentos, alucinações e privacidade?
2. Utilização prática
Consegue utilizar a IA de forma eficaz para uma tarefa adequada?
3. Avaliação crítica
Consegue questionar uma resposta, comparar resultados, verificar afirmações, reconhecer incertezas e identificar provas em falta?
4. Utilização responsável
Compreende a confidencialidade, a privacidade, a propriedade intelectual, a integridade académica ou profissional, a equidade e a utilização segura?
5. Julgamento humano
Consegue reconhecer quando a IA pode apoiar uma decisão e quando um ser humano deve manter a responsabilidade?
6. Criação e resolução de problemas
Consegue utilizar a IA para resolver um problema relevante, compreendendo simultaneamente as suas limitações?
A literacia em IA aproxima-se, portanto, mais de um modelo de competências do que de um exame convencional de uma disciplina.
Isto também torna a literacia em IA relevante muito para além das escolas.
As mesmas competências são cada vez mais importantes para equipas de RH, gestores, colaboradores de apoio ao cliente, engenheiros, profissionais de marketing, profissionais de saúde e qualquer pessoa que utilize informações geradas por IA no seu trabalho.
Contextos diferentes exigem avaliações diferentes
O princípio é o mesmo, mas as situações devem refletir o perfil do formando.
Pode pedir-se a um estudante que compare duas explicações geradas por IA e identifique quais as afirmações que exigem verificação.
Um gestor pode receber uma recomendação gerada por IA sobre o desempenho de um colaborador e ter de decidir que provas devem ser analisadas antes de tomar uma decisão.
Um recrutador pode analisar uma lista restrita gerada por IA e avaliar se a recomendação pode conter enviesamentos.
Um profissional de marketing pode avaliar uma análise de mercado gerada por IA e identificar as afirmações que exigem verificação das fontes.
Um agente de apoio ao cliente pode decidir se uma resposta gerada por IA é adequada para ser enviada a um cliente ou se requer intervenção humana.
É aqui que uma Plataforma de Aprendizagem Interativa se torna particularmente útil. A avaliação pode passar de perguntas abstratas para decisões realistas, em vez de se limitar a verificar se o formando se lembra da terminologia.
A literacia em IA exige mais do que perguntas de escolha múltipla
As perguntas de escolha múltipla continuam a ser úteis para os conhecimentos fundamentais, mas devem constituir apenas uma parte da avaliação.
Uma avaliação mais rica pode combinar vários formatos.
Tarefas de reconhecimento
Mostrar aos formandos um resultado gerado por IA e pedir-lhes que identifiquem:
uma afirmação sem fundamento;
informações confidenciais;
um possível enviesamento;
uma certeza enganadora;
conteúdo visual manipulado;
uma afirmação que exige verificação.
Os hotspots e as atividades de reconhecimento visual são particularmente úteis porque testam se alguém consegue detetar um problema, e não apenas defini-lo.
Cenários de decisão
A literacia em IA envolve frequentemente decisões, e não apenas respostas factuais certas ou erradas.
Imagine que um sistema de IA recomenda rejeitar um candidato a emprego com base em dados históricos.
Pode perguntar-se ao formando:
O que deve acontecer a seguir?
Aceitar a recomendação?
Solicitar uma análise humana?
Investigar os dados subjacentes?
Procurar possíveis enviesamentos?
Solicitar provas adicionais?
Um cenário ramificado avalia a forma como o formando aplica um princípio em contexto. Este tipo de experiência é especialmente útil para uma ferramenta de autoria com IA para L&D, porque as organizações podem reproduzir situações que os colaboradores realmente enfrentam.
Comparar resultados de IA
Os formandos podem comparar :
dois modelos ;
dois prompts ;
respostas geradas por IA a partir de diferentes perspetivas ;
uma resposta de um modelo geral e outra baseada em fontes fiáveis.
Podem então identificar diferenças nas provas, pressupostos, incerteza, exaustividade e enviesamento.
Verificações de confiança
A confiança acrescenta outra dimensão.
Alguém que dá a resposta correta com baixa confiança pode precisar de reforço. Alguém que dá uma resposta incorreta com confiança muito elevada pode representar um risco maior.
Isto é particularmente relevante para a literacia em IA, porque a própria IA generativa pode apresentar informações incorretas com aparente confiança.
Categorização
Os formandos podem classificar exemplos como: Fiável / Requer verificação / Não seguro
Ou: Decisão humana / Decisão assistida por IA / A IA não deve decidir
Isto testa distinções práticas importantes tanto na educação como na utilização empresarial da IA.
Controlo humano antes e depois da avaliação apoiada por IA
Quando a IA está envolvida na avaliação, a supervisão humana deve ser integrada no processo desde o início, e não acrescentada posteriormente.
Isto é especialmente importante nos contextos abrangidos pelo Regulamento Europeu da Inteligência Artificial (AI Act). O Regulamento classifica determinados sistemas de IA utilizados na educação e formação profissional como de alto risco quando avaliam resultados de aprendizagem, determinam o acesso ou influenciam materialmente o percurso educativo ou profissional de uma pessoa.
Para um processo de avaliação, um modelo sensato de controlo humano tem, portanto, dois pontos de verificação:
Antes da avaliação
Um professor, formador, designer instrucional ou especialista autorizado na matéria deve validar:
os objetivos de aprendizagem;
as competências avaliadas;
as perguntas e os cenários de avaliação;
a lógica de pontuação;
a adequação de qualquer conteúdo gerado por IA;
as fontes utilizadas;
o papel que a IA está autorizada a desempenhar.
A IA pode ajudar a acelerar a criação, mas é um ser humano que aprova o que está a ser avaliado e de que forma.
Depois da avaliação
Quando a IA auxilia na interpretação, pontuação ou formulação de recomendações, um profissional qualificado deve rever o resultado antes de este ser utilizado numa decisão com consequências significativas.
Isso significa verificar:
se o resultado é razoável;
se existem provas que o sustentem;
se pode ter ocorrido algum enviesamento ou comportamento inesperado;
se os casos excecionais precisam de ser investigados;
se o formando deve ter a possibilidade de solicitar uma revisão ou recorrer, quando adequado.
O princípio é simples:
Validação humana antes → Avaliação apoiada por IA → Revisão humana depois.
Importa salientar que nem todos os questionários de formação ou avaliações assistidas por IA se tornam automaticamente sistemas de alto risco ao abrigo do Regulamento Europeu da Inteligência Artificial; a classificação depende da sua finalidade e utilização, mas o controlo humano é um princípio de conceção sólido mesmo quando as disposições específicas relativas ao alto risco não se aplicam.
Como a Mexty apoia uma avaliação mais rica da literacia em IA
O módulo de Avaliação da Mexty foi concebido para combinar diferentes formatos de avaliação numa única experiência com pontuação.
Uma avaliação pode incluir:
questionários tradicionais;
hotspots e reconhecimento visual;
percursos de decisão ramificados;
bancos de perguntas aleatórias;
verificações de confiança;
categorização;
atividades de comparação;
cenários práticos.
O módulo existente também permite organizar as avaliações em torno de objetivos explícitos, em vez de criar um “teste de IA” genérico.
Por exemplo, um objetivo poderia ser:
Avaliar se o formando consegue reconhecer um resultado de IA pouco fiável, verificar as provas relevantes e decidir quando é necessária intervenção humana.
As atividades adequadas podem então ser organizadas em torno dessa competência.
É aqui que o posicionamento mais amplo da Mexty como plataforma nativa de IA para a criação de experiências de aprendizagem interativas se torna relevante. A avaliação está ligada à experiência de aprendizagem, em vez de existir como um questionário separado no final do curso.
Para as equipas de L&D, o mesmo ambiente pode ajudar a simplificar o fluxo de trabalho de design instrucional, ligando criação, atividades interativas e avaliação. Na educação, pode apoiar uma avaliação progressiva da literacia em IA ao longo de cursos e percursos de aprendizagem.
Enquanto infraestrutura de aprendizagem segura e nativa de IA, a Mexty destina-se a apoiar criadores e formandos, mantendo a validação humana no centro do processo.
A plataforma também pode suportar experiências de aprendizagem compatíveis com SCORM para organizações que necessitam de disponibilizar conteúdos através dos seus ambientes LMS existentes, enquanto o Criador de Cursos Interativos e as capacidades de avaliação da Mexty permitem que a avaliação vá além do consumo passivo de conteúdos.
A avaliação deve refletir a utilização da IA no mundo real
A literacia em IA será cada vez mais importante tanto nas salas de aula como nos locais de trabalho. Os estudantes precisam de saber se uma resposta gerada por IA é fiável, enquanto os colaboradores precisam de saber se uma recomendação gerada por IA deve influenciar uma decisão relativa a clientes, recrutamento, finanças ou operações. Além disso, os gestores precisam de compreender o que a IA pode apoiar e por que continuam responsáveis.
O objetivo da avaliação não pode, portanto, limitar-se a: “Esta pessoa conhece o vocabulário da IA?”
Deve passar a ser:
Esta pessoa compreende a IA?
Consegue utilizá-la adequadamente?
Consegue questioná-la?
Consegue reconhecer incertezas e enviesamentos?
Consegue verificar provas?
Consegue tomar uma decisão responsável?
E sabe quando um ser humano deve manter o controlo?
Esta é a mudança de testar conhecimentos sobre IA para avaliar competências em IA.
E, à medida que a IA se integra na educação e no trabalho, essa competência poderá tornar-se um dos resultados mais importantes que uma infraestrutura de aprendizagem segura e nativa de IA pode ajudar as organizações a desenvolver e medir.
Sobre a Mexty ….
A Mexty transforma a aprendizagem em experiências personalizadas concebidas para gerar desempenho no mundo real.
Descubra como a aprendizagem nativa de IA pode transformar conhecimento em ação com a Mexty.
Conheça a Mexty: a plataforma de aprendizagem baseada em IA que transforma conhecimento em experiências envolventes, competências reais, mudanças de comportamento duradouras e resultados mensuráveis.
É aqui que a Mexty transforma a forma como a aprendizagem funciona.
Vá além do e-learning tradicional com a Mexty, onde a IA transforma a sua experiência em percursos de aprendizagem personalizados que envolvem, inspiram e geram impacto real.
Depois de descobrir e experimentar a Mexty, teremos todo o gosto em conhecer a sua opinião!
Partilhe connosco a sua experiência e as suas impressões sobre esta nova forma interativa de aprender e criar. O seu feedback é muito valioso para nós.
Não perca as últimas novidades. Siga a Mexty e visite www.mexty.ai para descobrir o que vem a seguir!
Se gostou deste, vai adorar os nossos próximos artigos
|
