Às vezes me surpreende o quão pouco pensamos nas consequências quando se trata de inovações porque ficamos muito animados com o lado positivo.
Caso em questão: a ascensão de LLMs como o ChatGPT mudou completamente a maneira como trabalhamos. Chegou ao ponto em que muitas pessoas até o usam para propósitos menos que ideais, como trapaça. Por causa disso, ferramentas de detecção de IA foram criadas, então alunos inocentes começaram a pagar o preço pela detecção de falsos positivos por IA. E, finalmente, humanizadores de IA foram criados para proteger os alunos de serem falsamente acusados de usar LLMs.
E assim o ciclo continua.
Para quem usa humanizadores de IA, a maior questão é simples: eles realmente passam na detecção de IA?
Hoje, vamos descobrir. Este é um confronto direto entre Undetectable AI e o detector de IA do Author.com.
O que é IA indetectável?
Como escritor e estudante, acostumei-me ao medo de receber uma detecção de IA falso-positiva. É por isso que considero IA indetectável para ser uma dádiva de Deus.
Undetectable AI é uma ferramenta de paráfrase de IA que afirma fazer qualquer escrita evitar a detecção de IA — uma afirmação que eles têm bem respaldado. Testamos o Undetectable AI antes contra as ferramentas de detecção mais populares do mercado hoje, e adivinhe, ele passou. O Undetectable AI também tem um recurso exclusivo chamado personalização de saída que permite que você escolha entre diferentes níveis de legibilidade e casos de uso.
Então, vamos abordar o elefante na sala: faz sentido que a maioria das pessoas considere o Undetectable AI como trapaça. Eu discordo, e o Undetectable AI também. Na verdade, há uma maneira ética de usar essa ferramenta, que você pode ler aqui. Se quiser saber mais sobre o Undetectable AI, eu recomendo fortemente nossa análise do produto.
O que é a ferramenta de detecção de IA do Author.com?
Antes de falar sobre seu detector de IA, precisamos falar sobre Escritor.com como um todo primeiro.
Dizer que o Author.com é um assistente de escrita de IA minimiza um pouco, porque é muito mais do que isso. Esta plataforma visa ajudar empresas a escrever conteúdo de alta qualidade em escala. Sejam recapitulações, FAQs, e-mails — qualquer coisa. O Author.com pode escrever. Além disso, eles também fornecem suporte para automatizar processos de negócios e integração com aplicativos de produtividade como o Slack.
Agora, quanto à ferramenta de detecção de IA, não há muito a dizer. É grátis (bem, até 5.000 palavras) e não oferece muito em termos de recursos. Então, como a detecção de IA é a única coisa que ela oferece, é razoável supor que ela será precisa.
… certo?
Como a IA indetectável funciona?
Humanizadores de IA como Undetectable AI têm dois métodos que permitem que eles passem por ferramentas de detecção de IA. O número um é um rearranjo profundo do texto unique e remoção de certos sinais reveladores de IA, como palavras comuns de IA (exemplos incluem delve, revolutionize, make the most of) e falta de fluxo.
O segundo é adicionar erros intencionais. Sim: erros de ortografia, erros gramaticais, pontuações perdidas — o que você quiser. É verdade que isso resulta em uma pontuação de probabilidade de IA menor, mas também torna sua saída muito mais ilegível.
Então vamos testá-lo com o detector de IA do Author.com…
IA indetectável vs. detecção de IA do Author.com: precisão
Teste #1
IA indetectável identificada como humano.
Pontuação de Probabilidade de IA: 0%
Teste #2
IA indetectável identificada como humano.
Pontuação de Probabilidade de IA: 0%
Teste #3
IA indetectável identificada como humano.
Pontuação de Probabilidade de IA: 0%
Teste #4
IA indetectável identificada como humano.
Pontuação de Probabilidade de IA: 0%
Teste #5
IA indetectável identificada como humano.
Pontuação de Probabilidade de IA: 2%
Teste #6
IA indetectável identificada como humano.
Pontuação de Probabilidade de IA: 0%
Teste #7
IA indetectável identificada como humano.
Pontuação de Probabilidade de IA: 0%
Teste #8
IA indetectável identificada como humano.
Pontuação de Probabilidade de IA: 0%
Teste #9
IA indetectável identificada como humano.
Pontuação de Probabilidade de IA: 0%
Contagem geral
|
Pontuação de Probabilidade de IA Indetectável |
|
E agora?
Essa é uma péssima imagem para o Author.com, e aqui está o ponto essential: não é nem a primeira vez que isso acontece.
Já testamos o algoritmo de detecção de IA do Author.com no início deste ano. Os resultados? Ele está bem no fundo dos nossos testes positivos verdadeiros com apenas 18% precisão. Isso é quase metade do segundo detector de IA menos preciso que testamos, que foi o ZeroGPT. E nesse teste, incluímos saídas brutas do ChatGPT, Claude e Gemini.
Então, realmente não foi nenhuma surpresa para mim que o Author.com tenha baixa precisão de IA quando se trata apenas de saídas de IA indetectáveis. Eu simplesmente não esperava que fosse esse baixo. Dito isso, não podemos descontar o esforço da Undetectable AI nessa vitória. Ela provou, mais uma vez, que quando se trata de humanizadores de IA, nada mais chega perto.
