Tech

Análise da ferramenta de detecção de IA do Author.com: nem se incomode

O conteúdo gerado por IA está se espalhando por toda parte, e parece que há uma nova ferramenta de detecção surgindo a cada dia — cada uma alegando capturar até mesmo o texto mais furtivo escrito por IA.

Mas quão bem eles realmente funcionam? Afinal, vamos encarar: detectores de IA são uma dúzia hoje em dia, e a maioria deles é apenas fumaça e espelhos.

Então, vamos dar uma olhada mais de perto em Escritor.com e colocá-lo à prova. Alerta de spoiler: não é tão simples quanto parece. Fique por aqui enquanto mergulhamos no bom e no ruim (bem, principalmente ruim, mas vamos deixar isso para depois).

O que é Author.com?

Como o nome sugere, o Author.com escreve.

Para ser mais específico, Escritor é uma plataforma de escrita de IA feita para mudar a maneira como as empresas criam conteúdo. Em sua essência, o Author visa resolver um desafio comum enfrentado por muitas organizações: manter a consistência e a qualidade. Com LLMs, o Author permite que as empresas produzam conteúdo de alta qualidade e de marca em escala.

image31 1image31 1

Um exemplo de caso de uso do Author é que ele garante que todo o conteúdo criado por meio da plataforma esteja perfeitamente alinhado com a identidade da marca da organização, usando sua capacidade de aprender e se adaptar às diretrizes exclusivas de voz e estilo de uma empresa.

O Author.com é mais do que automação — é sobre tornar sua vida como dono de empresa mais fácil. Eles oferecem uma gama de assistentes de IA que podem ajudar com tarefas como gerar ideias e melhorar a legibilidade. Ao cuidar desses aspectos mais rotineiros da escrita, o Author libera os criadores de conteúdo para se concentrarem em estratégia e criatividade.

Mas não estamos aqui para falar do Author como um todo. Em vez disso, vamos focar em…

Detector de IA do Author.com

Além dos recursos de escrita, o Author.com também possui um Ferramenta de detecção de IA que eles oferecem de graça (para 5.000 palavras). Como a maioria dos detectores gratuitos, eles não têm muito em termos de recursos, mas oferecem como uma API.

image28 2image28 2

Ele consegue detectar conteúdo de LLMs populares?

Como eu disse, o detector de IA do Author.com não tem nenhum recurso. Isso significa que a única maneira de medir sua viabilidade é determinando (até certo ponto) sua precisão. Então, vamos testar vários escritos de LLMs populares (ChatGPT, Claude, Gemini) contra o Author.com.

Bate-papoGPT

Escritor.com erroneamente texto ChatGPT classificado como humano.
Pontuação de Probabilidade de IA: 26%

image18 4image18 4
image14 6image14 6

Escritor.com erroneamente texto ChatGPT classificado como humano.
Pontuação de Probabilidade de IA: 30%

image4 7image4 7
image20 3image20 3

Escritor.com erroneamente texto ChatGPT classificado como humano.
Pontuação de Probabilidade de IA: 25%

image32 1image32 1
image6 8image6 8

Cláudio

Escritor.com erroneamente classificou o texto de Claude como humano.
Pontuação de Probabilidade de IA: 34%

image10 6image10 6
image25 3image25 3

Escritor.com erroneamente classificou o texto de Claude como humano.
Pontuação de Probabilidade de IA: 25%

image12 5image12 5
image9 6image9 6

Escritor.com erroneamente classificou o texto de Claude como humano.
Pontuação de Probabilidade de IA: 18%

image2 8image2 8
image5 7image5 7

Gêmeos

Escritor.com erroneamente classificou o texto de Gêmeos como humano.
Pontuação de Probabilidade de IA: 40%

image13 6image13 6
image22 3image22 3

Escritor.com erroneamente classificou o texto de Gêmeos como humano.
Pontuação de Probabilidade de IA: 37%

image26 2image26 2
image8 8image8 8

Escritor.com erroneamente classificou o texto de Gêmeos como humano.
Pontuação de Probabilidade de IA: 43%

image11 6image11 6
image27 2image27 2

Contagem geral

Ele consegue detectar conteúdo de IA indetectável?

Agora que temos as determinações de probabilidade média de IA do Author.com para LLMs, vamos falar sobre IA indetectável. Esta ferramenta de paráfrase de IA atua como um humanizador, pegando uma entrada que é facilmente detectável como IA e a transformando em algo mais humano.

image15 4image15 4

Pense nisso como o teste mais difícil que uma ferramenta de detecção de IA pode fazer. Afinal, a maioria dos detectores não passou.

Se você estiver interessado em saber mais sobre o Undetectable AI, acesse nossa análise completa da plataforma ou confira qualquer um dos nossos artigos de comparação com paráfrases estabelecidos no mercado.

Teste #1

Escritor.com erroneamente classificou texto de IA indetectável como humano.
Pontuação de Probabilidade de IA: 1%

image3 7image3 7
image29 2image29 2

Teste #2

Escritor.com erroneamente classificou texto de IA indetectável como humano.
Pontuação de Probabilidade de IA: 0%

image16 4image16 4
image7 8image7 8

Teste #3

Escritor.com erroneamente classificou texto de IA indetectável como humano.
Pontuação de Probabilidade de IA: 0%

image21 3image21 3
image23 3image23 3

Teste #4

Escritor.com erroneamente classificou texto de IA indetectável como humano.
Pontuação de Probabilidade de IA: 0%

image19 3image19 3
image1 12image1 12

Teste #5

Escritor.com erroneamente classificou texto de IA indetectável como humano.
Pontuação de Probabilidade de IA: 0%

image30 1image30 1
image24 3image24 3

Contagem geral

Quais são os prós e os contras?

  • Impreciso. Muito impreciso.

E agora?

Sempre acreditei que preferiria ter ferramentas de detecção de IA que fossem mais brandas do que rigorosas. Mas cara, não esse leniente. Neste ponto, por que ter uma ferramenta de detecção de IA se ela não funciona?

Palavras duras — mas eu as mantenho.

Só para referência, já fizemos um teste aprofundado das ferramentas de detecção de IA mais populares alguns meses atrás. Nenhum detector de IA naquela lista falhou em classificar pelo menos 4 conteúdos gerados por IA, exceto o Author.com, que só conseguiu identificar com sucesso 2 de 12. Esta rodada de testes foi ainda pior, pois não conseguiu nem acertar um único.

Este é o ponto em que costumo dar um suggestions positivo só para equilibrar as coisas, mas não acho que eles tenham algum fator redentor. Como o Author.com tem sido muito ativo na melhoria de seus principais recursos, minha única esperança é que eles compartilhem um pouco desse amor com seu algoritmo de detecção de IA também.

Artigos relacionados

Leave a Reply

Your email address will not be published. Required fields are marked *

Back to top button