Ah, sim, detecção de IA. É vasqueiro ver um problema tão preponderante na tecnologia sem uma solução clara. Mas cá estamos em 2024, e o tema dos falsos positivos ainda prevalece porquê sempre.
Felizmente para nós, isso também significa que existe um vácuo nesse espaço que podemos resolver. Existem muitos detectores de IA hoje e tão poucas informações sobre quão precisos eles realmente são, com base em testes imparciais de terceiros. Logo, você adivinhou, nós entramos.
Ao longo deste item, testarei uma seleção escolhida a dedo de detectores de IA e determinarei, de uma vez por todas, qual deles é o mais preciso.
Nossos participantes
O que fiz foi reunir os detectores de IA mais confiáveis do mercado. Cá está minha lista final de participantes deste lote de testes, muito porquê informações se eles estão disponíveis gratuitamente ou têm uma versão de teste:
Uma vez que isso vai ocorrer
Eu sei que você está ansioso para entrar em ação, mas primeiro, vamos tratar isso porquê um teste acadêmico real. Logo, vamos definir algumas regras básicas.
- Os testes serão separados em duas seções: um para IA e um para texto escrito por humanos para testar a taxa de falsos positivos.
- Para o teste de IA, cada detector será submetido a 12 testes: 3 cada para ChatGPT, Bard, Claude e texto gerado por IA que o Undetectable AI, um popular bypasser de detecção, ajusta.
- Para o teste falso positivo, cada detector será submetido a 5 testestodos os quais virão de domínio público ou de minha própria escrita.
Cá está outro problema: alguns detectores têm uma porcentagem de verosimilhança de IA e outros não. Existem também alguns detectores que informam se não há certeza, enquanto outros não. Portanto, para levar em conta isso, a pontuação de verosimilhança de IA para detectores sem um será calculada usando esta fórmula:
Onde n é igual ao número de determinações possíveis pelo detector. Por exemplo, digamos que um detector de IA possa gerar (1) IA, (2) Provavelmente será IA, (3) Incerto, (4) É improvável que seja IA, e (5) Não IA. O pausa seria 100 dividido por 5-1, logo 25. Isso significaria que nossas pontuações serão padronizadas em 0%, 25%, 50%, 75% e 100%.
Esperançosamente, isso não é muito confuso. Exclusivamente tenha em mente que estou complicando um pouco isso para ser completamente justo.
Colocando detectores de IA à prova
Exclusivamente um aviso rápido: esta seção apresentará um monte de fotos mostrando a precisão da IA de cada detector. Eu recomendo fortemente olhar cada um deles para prometer que não estou editando esses resultados. No entanto, se você deseja somente a narração final, pode pular para a próxima seção deste post.
IA de originalidade
Teste ChatGPT nº 1: Experimento
Teste ChatGPT nº 2: História
Teste ChatGPT nº 3: Missiva de apresentação
Teste Cláudio #1: Experimento
Teste Cláudio #2: História
Teste Cláudio #3: Missiva de apresentação
Teste de Poeta nº 1: Experimento
Teste de Poeta #2: História
Teste de Poeta nº 3: Missiva de apresentação
IA indetectável + ChatGPT
IA indetectável + Claude
IA indetectável + Poeta
Vazamentos de cópias
Teste ChatGPT nº 1: Experimento
Teste ChatGPT nº 2: História
Teste ChatGPT nº 3: Missiva de apresentação
Teste Cláudio #1: Experimento
Teste Cláudio #2: História
Teste Cláudio #3: Missiva de apresentação
Teste de Poeta nº 1: Experimento
Teste de Poeta #2: História
Teste de Poeta nº 3: Missiva de apresentação
IA indetectável + ChatGPT
IA indetectável + Claude
IA indetectável + Poeta
Teor em graduação
Teste ChatGPT nº 1: Experimento
Teste ChatGPT nº 2: História
Teste ChatGPT nº 3: Missiva de apresentação
Teste Cláudio #1: Experimento
Teste Cláudio #2: História
Teste Cláudio #3: Missiva de apresentação
Teste de Poeta nº 1: Experimento
Teste de Poeta #2: História
Teste de Poeta nº 3: Missiva de apresentação
IA indetectável + ChatGPT
IA indetectável + Claude
IA indetectável + Poeta
IA Winston
Teste ChatGPT nº 1: Experimento
Teste ChatGPT nº 2: História
Teste ChatGPT nº 3: Missiva de apresentação
Teste Cláudio #1: Experimento
Teste Cláudio #2: História
Teste Cláudio #3: Missiva de apresentação
Teste de Poeta nº 1: Experimento
Teste de Poeta #2: História
Teste de Poeta nº 3: Missiva de apresentação
IA indetectável + ChatGPT
IA indetectável + Claude
IA indetectável + Poeta
GPTZero
Teste ChatGPT nº 1: Experimento
Teste ChatGPT nº 2: História
Teste ChatGPT nº 3: Missiva de apresentação
Teste Cláudio #1: Experimento
Teste Cláudio #2: História
Teste Cláudio #3: Missiva de apresentação
Teste de Poeta nº 1: Experimento
Teste de Poeta #2: História
Teste de Poeta nº 3: Missiva de apresentação
IA indetectável + ChatGPT
IA indetectável + Claude
IA indetectável + Poeta
ZeroGPT
Teste ChatGPT nº 1: Experimento
Teste ChatGPT nº 2: História
Teste ChatGPT nº 3: Missiva de apresentação
Teste Cláudio #1: Experimento
Teste Cláudio #2: História
Teste Cláudio #3: Missiva de apresentação
Teste de Poeta nº 1: Experimento
Teste de Poeta #2: História
Teste de Poeta nº 3: Missiva de apresentação
IA indetectável + ChatGPT
IA indetectável + Claude
IA indetectável + Poeta
IA de mudas
Teste ChatGPT nº 1: Experimento
Teste ChatGPT nº 2: História
Teste ChatGPT nº 3: Missiva de apresentação
Teste Cláudio #1: Experimento
Teste Cláudio #2: História
Teste Cláudio #3: Missiva de apresentação
Teste de Poeta nº 1: Experimento
Teste de Poeta #2: História
Teste de Poeta nº 3: Missiva de apresentação
IA indetectável + ChatGPT
IA indetectável + Claude
IA indetectável + Poeta
Repórter
Teste ChatGPT nº 1: Experimento
Teste ChatGPT nº 2: História
Teste ChatGPT nº 3: Missiva de apresentação
Teste Cláudio #1: Experimento
Teste Cláudio #2: História
Teste Cláudio #3: Missiva de apresentação
Teste de Poeta nº 1: Experimento
Teste de Poeta #2: História
Teste de Poeta nº 3: Missiva de apresentação
IA indetectável + ChatGPT
IA indetectável + Claude
IA indetectável + Poeta
O melhor detector de IA: teste de falso positivo
Usarei uma combinação de propriedades de domínio público e minha própria tese (para simular um envolvente acadêmico) porquê meus casos de teste. Para o primeiro, cá está o que usarei nesta seção:
- Middlemarch por George Eliot.
- Sobre Lazer por Vernon Lee.
- Na preguiça por Christopher Morley.
- Deitado na leito por GK Chesterton
Não vou escanear o texto inteiro em cada detector. Em vez disso, testarei somente as primeiras 300 palavras de cada documento. E antes que me esqueça, estas pontuações medirão a verosimilhança humana, em vez da IA.
IA de originalidade
Teste nº 1
Teste #2
Teste #3
Teste #4
Teste #5
Vazamentos de cópias
Teste nº 1
Teste #2
Teste #3
Teste #4
Teste #5
Teor em graduação
Teste nº 1
Teste #2
Teste #3
Teste #4
Teste #5
IA Winston
Teste nº 1
Teste #2
Teste #3
Teste #4
Teste #5
GPTZero
Teste nº 1
Teste #2
Teste #3
Teste #4
Teste #5
ZeroGPT
Teste nº 1
Teste #2
Teste #3
Teste #4
Teste #5
IA de mudas
Teste nº 1
Teste #2
Teste #3
Teste #4
Teste #5
Repórter
Teste nº 1
Teste #2
Teste #3
Teste #4
Teste #5
A narração final
Já disse isso antes e direi agora: Sapling AI merece mais reconhecimento por sua precisão. Ele não somente pode detectar texto de IA a uma milha (o segundo maior com 87,04%), mas também é o único detector de IA em nossos testes que conseguiu detectar a escrita humana (o maior com 93,84%) em todos os testes verdadeiramente positivos. Nossas menções honrosas incluem Copyleaks, Originalidade e Teor em Graduação, nessa ordem.
Você pode expressar isso Repórter é incrível na prevenção de falsos positivos, mas gostaria de oferecer uma desenlace dissemelhante: é incrivelmente tolerante. Isto é evidenciado pela sua confiabilidade com textos gerados por IA, onde só conseguiu ser 18,67% preciso. De todos os detectores que testei, posso expressar com segurança que o Writer é o mais indefinível.
Por outro lado, também posso expressar que o Winston é bastante confiável, mas é mais rigoroso que os outros detectores. Isso leva à pontuação positiva verdadeira mais baixa. Ainda é venerável, visto que alimentei esses detectores com textos acadêmicos e literatura, mas definitivamente pior do que outros.
Se você estiver interessado na versão completa, cá está uma transcrição tabulada dos resultados.
Qual é o veredicto?
Logo, qual detector de IA você deve usar?
Você viu nossos testes e, na minha opinião, Sapling AI é óbvio quando se trata de detectores de IA gratuitos. Se você tem numerário e deseja outros recursos, porquê verificador de plágio e integração com outros aplicativos, opte pelo Winston AI.
Também encontramos detectores que você não deveria usar em 2024, e eles são Repórter e ZeroGPT. Eles não são confiáveis e nem deveriam ser considerados para uso em sala de lição ou lugar de trabalho.
A precisão dos detectores de IA tem sido controversa desde que o ChatGPT entrou em cena. Saber qual detector tem menos verosimilhança de cometer erros é crucial se suas ações afetarem o porvir de outras pessoas. Essa é a resposta que pretendemos resolver neste item, portanto, esteja discreto a esses resultados na próxima vez que você pesquisar no Google “a melhor instrumento de detecção de IA”.
Já que estou cá, posso interessá-lo em alguns de nossos outros artigos sobre detectores de IA? Oriente é muito interessante, e leste outro também. Na verdade, temos um catálogo completo de artigos dedicados a aprender mais sobre detecção de IA, logo divirta-se lendo!
