Agora é a period da IA generativa e com ela surgem novos desafios. Como implementá-lo em nossa vida diária? Como podemos mitigar o deslocamento de empregos? Podemos usá-lo para pesquisas médicas?
Para os educadores, há um problema claro: como impedir que os alunos usem o ChatGPT e outros LLMs para desonestidade acadêmica.
O ponto principal é que modelos de linguagem como o ChatGPT abriram novos caminhos tanto para inovação quanto para uso indevido. Embora possam aumentar a produtividade e o aprendizado, há preocupações válidas sobre alunos potencialmente explorando-os para contornar tarefas. Então, a questão candente se torna esta: o Canvas está equipado para navegar nesta nova period?
Boas notícias: podemas com mais do que alguns asteriscos. Vamos falar sobre eles neste artigo.
O que é SimCheck?
Vamos deixar uma coisa bem clara primeiro: o Canvas não consegue detectar se um ensaio veio especificamente do ChatGPT. Mas eles podem diferenciar a IA da escrita humana.
O Canvas oferece aos instrutores uma arma poderosa em sua batalha contra a desonestidade acadêmica usando LLMs: SimCheck. Mas como isso funciona e há mais do que apenas localizar passagens copiadas?
Vamos analisar.
SimCheck é um plugin do TurnItIn que escaneia o trabalho enviado em um enorme banco de dados de fontes on-line, incluindo websites e periódicos acadêmicos. O SimCheck usa um algoritmo robusto de correspondência de texto para identificar quaisquer sobreposições significativas entre o trabalho de um aluno e fontes existentes.
Mas desde que o ChatGPT ganhou popularidade, o SimCheck também começou a oferecer detecção de IA gratuita para instrutores do Canvas. Isso os ajuda a identificar tarefas que podem ser copiadas, parafraseadas ou reescritas a partir de conteúdo criado por IA, tornando mais difícil para os trapaceiros passarem despercebidos.
Os professores devem confiar 100% na detecção de IA do SimCheck?
Absolutamente não.
Pense desta forma: nenhum detector de IA é realmente 100% preciso. Mesmo as empresas na vanguarda desta tecnologia, como a OpenAI, dizem que a detecção é uma tarefa tola neste momento. A educação é um ponto tão essential nas nossas vidas que um único erro pode arruinar o futuro de alguém. Confiar a um detector toda a tarefa de verificação da detecção de IA é a maneira errada de navegar nesta nova period acadêmica.
Mas não acredite em mim. Acredite em mim. William Quarterman e Louise Stivers.
Como os falsos positivos podem afetar os alunos?
Os alunos da UC Davis mencionados acima foram falsamente acusados de usar IA depois que seus professores testaram seu trabalho em dois detectores populares: GPTZero e TurnItIn (a empresa por trás do SimCheck). A única maneira de evitarem punições acadêmicas permanentes é apelando e divulgando sua história. E sim, isso mesmo: de alguma forma, o ônus da prova recai sobre os alunos.
Casos menores
Há poucos ou nenhum caso de SimCheck on-line, então vamos ampliar um pouco o problema, já que a maioria dos detectores de IA não são confiáveis até certo ponto. Aqui estão alguns casos de falso positivo que ouvimos no ano passado:
- Estudantes da Universidade Texas A&M: Um professor da Texas A&M ameaçou reprovar em toda a turma em maio passado, depois que suas redações acionaram uma ferramenta de detecção de IA. Felizmente, a situação foi resolvida com uma tarefa de redação diferente. No entanto, levanta a questão de saber por que o ónus da prova recai sobre os estudantes quando os detectores de IA podem não ser fiáveis.
- Alunos do ensino médio da Nova Zelândia: Dois estudantes de alto desempenho do 12º ano na Nova Zelândia foram falsamente acusados de usar o ChatGPT em suas tarefas. Esta foi uma situação de alto risco que poderia tê-los impedido de entrar nas melhores universidades se fosse comprovada como verdade. Após revisão pela Analysis on Educational Integrity na Nova Zelândia, ambos os estudantes foram considerados inocentes.
- Escritores não nativos de inglês: O professor de Stanford James Zou testou 91 ensaios contra sete ferramentas de detecção de IA. Em média, as ferramentas tinham 8% mais probabilidade de sinalizar a escrita de falantes não nativos de inglês como IA potencial em comparação a falantes nativos. O motivo provável é que a escrita não nativa tende a ter menos complexidade, semelhante à saída de IA generativa. Ironicamente, isso poderia incentivar escritores não nativos a realmente usar modelos de linguagem de IA para tentar escapar da detecção.
Dito isso, qual é a melhor maneira de realmente detectar o uso indevido de IA?
Outras maneiras pelas quais os professores detectam IA quando você usa o Canvas
Existem duas maneiras principais pelas quais os professores podem detectar LLMs no trabalho de um aluno sem usar detectores de IA como o SimCheck. Estes são os seguintes:
- Atividade incomum. O Canvas pode detectar quando você sai de uma página ou copia algo de um website diferente. Ele também monitora sua atividade, como quanto tempo você gastou em uma pergunta, se está respondendo testes e redações muito rápido ou qualquer outro comportamento que possa ser causado por trapaça.
- Lendo seu trabalho. Verdade seja dita, se você lê muito o trabalho de IA, não é tão difícil diferenciá-lo da escrita humana. Existem alguns sinais reveladores, como usar muito palavras transitivas, fazer toneladas de listas, usar certas palavras e muito mais.
No ultimate das contas, a coisa mais responsável a fazer é usar detectores de IA, mas também praticar a verificação humana. Dessa forma, você obtém o melhor dos dois mundos. Ainda não é perfeito, mas é o melhor que conseguimos desde que a IA ainda está em sua infância.
Os alunos podem evitar a detecção de IA?
Sim, os alunos podem realmente evitar a detecção de IA e nem é tão difícil fazer isso. A razão por trás disso é que, se falsos positivos podem acontecer, então o oposto (falsos negativos) também deve ser verdade. De cabeça, eu já conseguia pensar em três maneiras de evitar a detecção de IA se você for um aluno.
- Ajustes manuais. Um aluno pode remover marcadores de IA, como repetições, listas e palavras comuns, para que os detectores de IA não consigam localizá-los e classificar a redação do aluno como gerada por máquina.
- Bypassadores de IA. Existem também paráfrases cujo único objetivo é reescrever seu texto para que não pareça ter vindo de uma IA. Alguns exemplos desta tecnologia são HideMyAI, Netus e BypassGPT. Mas, de longe, o mais potente é IA indetectável. Você pode ler nossa análise completa do produto aqui.
- Engenharia rápida. Um aluno também pode simplesmente instruir uma IA para se esconder melhor dos detectores usando certas palavras-chave em seu immediate, como “criativo”, “perspectiva de primeira pessoa” e muito mais. Também é possível alimentar um LLM com suas redações anteriores e pedir-lhes para gerar uma nova redação com base em sua voz de escrita.
Tudo dito e feito
O Canvas continua sendo um dos principais sistemas de gerenciamento de aprendizagem do mundo – mas não é isento de deficiências. Não ter um plugin robusto de detecção de IA e confiar no TurnItIn é um passo em falso quando existem opções melhores por aí.
Dito isso, você não pode realmente culpá-los por usar o padrão acadêmico. E também não é culpa deles que a detecção de IA não consiga acompanhar LLMs verdadeiramente inteligentes. No entanto, conforme os modelos continuam a evoluir, a necessidade de um melhor sistema de detecção integrado ao Canvas se torna cada vez mais urgente.
Se isso não acontecer em breve, mais estudantes serão falsamente acusados de usar IA e receberão punições acadêmicas por isso. Isso é algo que as universidades devem proteger, não causar.
Quer saber mais sobre o papel da detecção de IA na educação? Ouça professores do mundo todo aqui.
