À medida que mais um ano letivo chega ao fim, o debate em torno de ferramentas de detecção de escrita de IA, como TurnItIn e Canvas, é, mais uma vez, o assunto da cidade. A TurnItIn foi fundada na década de 90 com o objetivo de promover a honestidade e a integridade na educação, detectando possíveis plágios. Mas será que eles realmente permanecem fiéis a esses objetivos com seu detector de IA?
Esta questão torna-se mais relevante durante e após a pandemia, à medida que muitas instituições mudam para uma configuração de aprendizagem híbrida. Estar em casa significa dar aos alunos acesso a ferramentas de IA o tempo todo, o que também significa mais oportunidades de trapacear para obter um A+, se assim o desejarem – isso apesar da proteção robusta que ambientes de aprendizagem como o Canvas oferecem.
Muitos argumentam que a detecção da IA ainda é demasiado imprecisa para tomar decisões de alto risco sobre desonestidade académica. Usá-los como única base para acusações de trapaça levanta preocupações sobre justiça e devido processo devido a falsos positivos.
Portanto, neste artigo, vamos responder a uma pergunta simples: podemos confiar que o Canvas e o TurnItIn serão a ferramenta educacional preferida contra a IA?
O que os alunos pensam sobre a detecção de IA do TurnItIn
Nenhum aluno é sempre o mesmo e há uma ampla gama de opiniões sobre este assunto. Haverá alguns que argumentarão a favor do fim da desonestidade acadêmica, mas pelo que vejo on-line, a opinião esmagadora sobre a detecção de IA é “ainda não.” Houve inúmeras declarações, inclusive da OpenAI, que afirmam que a detecção não é confiável em sua implementação atual.
Existem três razões principais pelas quais as pessoas desconfiam da detecção do TurnItIn:
Quão preciso é o TurnItIn
Não podemos testar a precisão da detecção de IA do TurnItIn como costumamos fazer, mas houve muitos que o fizeram, então vou citar um deles.
No ano passado, o Washington Put up conduziu um teste com cinco alunos e dezesseis redações escritas por humanos, geradas por IA e de natureza mista. O resultado?
TurnItIn errou mais da metade deles.
O fato é que, mesmo que o TurnItIn possa ter 99% de certeza de que seu software program é robusto, um em cada cem alunos ainda receberá um falso positivo. Na maioria das vezes, isso poderia ser resolvido simplesmente conversando com um professor. Mas nem sempre é assim…
Alunos sendo atingidos por falsos positivos
Um desses casos de detecção de IA falso positivo é o de William Quarterman, um estudante da UC Davis. Apesar de nunca ter usado o ChatGPT, ele foi reprovado depois que seu professor usou um detector para detectar escrita de IA em seu exame. O impacto sobre os estudos e a saúde psychological de Quarterman foi severo até que a universidade finalmente admitiu não ter provas razoáveis.
Mas Quarterman foi apenas o começo. Aluno da UC Davis Louise Stivers também enfrentou acusações de uso de IA para um resumo do caso, desta vez sinalizado por Entregar. Numa reviravolta irónica, foi Quarterman quem veio em auxílio de Stivers, aconselhando-a, juntamente com o seu pai, sobre como anular a injusta sanção académica.
Como mostram estes casos, a crescente paranóia em torno dos LLMs no meio académico criou uma situação confusa repleta de falsos positivos. Existem inúmeras questões em todo o mundo sobre falsos positivos, muitas das quais nem sequer são divulgadas.
Preconceito contra estudantes internacionais
A detecção de IA também pode ser prejudicial, como demonstrado por James Zou, professor assistente em Stanford.
Com base em seus estudos, os detectores de IA são 8% são mais propensos a sinalizar falantes não nativos de inglês porque escrevem frases mais simples e menos complexas, que podem facilmente ser confundidas com IA pelos detectores.
O que os alunos pensam sobre a detecção de IA do Canvas
Eu sei que este artigo é intitulado “Canvas vs. TurnItIn”, mas realmente não podemos comparar os dois por um motivo simples: eles são a mesma coisa porque o Canvas usa um plugin criado pelo TurnItIn para detecção de IA.
Tudo o que foi dito aqui sobre o TurnItIn – o bom e o ruim – também se aplica ao detector de IA do Canvas.
Opiniões reais do mundo da educação sobre detecção de IA
Relatórios recentes de estudantes e educadores em vários fóruns on-line revelam que o novo recurso de detecção de escrita de IA do TurnItIn está repleto de problemas de precisão, frequentemente sinalizando trabalhos escritos por humanos como possíveis resultados de IA.
- Vários alunos compartilharam experiências frustrantes de terem suas redações e artigos originais sinalizados incorretamente pelo TurnItIn com altas pontuações de probabilidade de IA. Em alguns casos, eles podem atingir uma probabilidade impressionante de 100%, de acordo com a avaliação da ferramenta, apesar de nunca usarem inteligência synthetic.
- O artigo de um estudante de pós-graduação foi sinalizado com 34% de probabilidade de IA na segunda tentativa de detecção, apesar do aluno ter confirmado que não usou assistência de escrita de IA. O professor não acreditou totalmente no aluno e, como resultado, apenas atribuiu uma nota “bom” na tarefa.
- Outro aluno tinha uma redação manuscrita incorretamente rotulada como 50% de IA gerada pelo detector do TurnItIn.
- E ainda outro teve seu trabalho sinalizado com 97% de probabilidade de IA, embora usasse o ChatGPT apenas minimamente para esclarecer pontos e reescrever algumas frases e não para geração completa de conteúdo.
- Um estudante de pós-graduação fez uma crítica matemática lógica sobre por que a abordagem do TurnItIn é fundamentalmente falha na detecção precisa de texto de IA devido às limitações atuais da tecnologia.
A lista continua e continua.
O que pensam professores e alunos de pós-graduação?
Vários educadores também opinaram, com muitos lançando dúvidas sobre as afirmações de precisão do TurnItIn. Um professor universitário apontou que o próprio TurnItIn admite que o detector tem apenas cerca de 80% de precisão com base em seus testes. Um professor de história do Quora observou que muitos de seus próprios artigos escritos por humanos acionaram sinalizadores de alta probabilidade de IA do TurnItIn quando claramente não envolviam o uso de IA.
Os tópicos de discussão refletem um ceticismo crescente em relação à confiança cega nos resultados de detecção de IA, sem supervisão ou oportunidade para os alunos validarem afirmações falsas. Tanto educadores como estudantes pedem mais transparência em torno das capacidades e taxas de erro destas ferramentas.
Empacotando
À medida que persiste o debate em torno dos detectores de escrita de IA, como TurnItIn e Canvas, uma coisa fica muito clara: confiar apenas em seu veredicto para decisões de alto risco, como alegações de má conduta acadêmica, não é isento de riscos. Os crescentes relatos de imprecisões, falsos positivos que afectam estudantes inocentes e potenciais preconceitos contra certos grupos levantam sérias preocupações sobre a justiça e o devido processo authorized.
Embora estas ferramentas possam fornecer um sinal preliminar, elas devem não sejam os únicos árbitros. Uma abordagem mais equilibrada envolveria a revisão humana e uma oportunidade para os alunos se defenderem. Os desafios colocados pela escrita de IA são reais, mas também o são os perigos das soluções rápidas de bandaid. À medida que a IA continua a evoluir, a nossa perspectiva também deve evoluir.
Somente com uma abordagem diferenciada poderemos navegar nesta period da inteligência synthetic, preservando ao mesmo tempo o papel essencial da educação.
Quer saber mais sobre detecção de IA? Eu recomendo fortemente este artigo para saber o que os professores pensam dele como um todo.
