IA da perspectiva do invasor: veja como os cibercriminosos estão aproveitando a IA e explorando suas vulnerabilidades para comprometer sistemas, usuários e até mesmo outros aplicativos de IA
Cibercriminosos e IA: a realidade versus o hype
“A IA não substituirá os humanos num futuro próximo. Mas os humanos que sabem como usar a IA substituirão os humanos que não sabem como usar a IA”, diz Etay Maor, estrategista-chefe de segurança da Cato Networks e membro fundador da Catão CTRL. “Da mesma forma, os invasores também estão recorrendo à IA para aumentar suas próprias capacidades”.
No entanto, há muito mais entusiasmo do que realidade em torno do papel da IA no crime cibernético. As manchetes muitas vezes sensacionalizam as ameaças de IA, com termos como “Chaos-GPT” e “Black Hat AI Instruments”, até mesmo alegando que procuram destruir a humanidade. No entanto, estes artigos são mais indutores de medo do que descritivos de ameaças graves.
Por exemplo, quando exploradas em fóruns clandestinos, descobriu-se que várias destas chamadas “ferramentas cibernéticas de IA” nada mais eram do que versões renomeadas de LLMs públicos básicos sem capacidades avançadas. Na verdade, eles foram até marcados por atacantes furiosos como fraudes.
Como os hackers estão realmente usando IA em ataques cibernéticos
Na realidade, os cibercriminosos ainda estão a descobrir como aproveitar a IA de forma eficaz. Eles estão enfrentando os mesmos problemas e deficiências dos usuários legítimos, como alucinações e habilidades limitadas. De acordo com suas previsões, levará alguns anos até que eles sejam capazes de aproveitar o GenAI de forma eficaz para as necessidades de hackers.
Por enquanto, as ferramentas GenAI estão sendo usadas principalmente para tarefas mais simples, como escrever e-mails de phishing e gerar trechos de código que podem ser integrados em ataques. Além disso, observamos invasores fornecendo código comprometido a sistemas de IA para análise, como um esforço para “normalizar” esse código como não-malicioso.
Usando IA para abusar da IA: Apresentando GPTs
GPTs, introduzidos pela OpenAI em 6 de novembro de 2023, são versões personalizáveis do ChatGPT que permitem aos usuários adicionar instruções específicas, integrar APIs externas e incorporar fontes de conhecimento exclusivas. Esse recurso permite que os usuários criem aplicativos altamente especializados, como bots de suporte técnico, ferramentas educacionais e muito mais. Além disso, a OpenAI está oferecendo aos desenvolvedores opções de monetização para GPTs, por meio de um mercado dedicado.
Abusando de GPTs
As GPTs apresentam possíveis preocupações de segurança. Um risco notável é a exposição de instruções confidenciais, conhecimento proprietário ou até mesmo chaves de API incorporadas na GPT personalizada. Atores maliciosos podem usar IA, especificamente engenharia imediata, para replicar uma GPT e explorar seu potencial de monetização.
Os invasores podem usar prompts para recuperar fontes de conhecimento, instruções, arquivos de configuração e muito mais. Isso pode ser tão simples quanto solicitar à GPT personalizada que liste todos os arquivos carregados e instruções personalizadas ou solicitar informações de depuração. Ou sofisticado, como solicitar ao GPT que compacte um dos arquivos PDF e crie um hyperlink para obtain, solicitar ao GPT que liste todos os seus recursos em um formato de tabela estruturada e muito mais.
“Mesmo as proteções implementadas pelos desenvolvedores podem ser contornadas e todo o conhecimento pode ser extraído”, diz Vitaly Simonovich, pesquisador de inteligência de ameaças da Cato Networks e membro do Cato CTRL.
Esses riscos podem ser evitados:
- Não fazer add de dados confidenciais
- Usar proteção baseada em instruções, embora mesmo essas possam não ser infalíveis. “É preciso levar em consideração todos os diferentes cenários que o invasor pode abusar”, acrescenta Vitaly.
- Proteção OpenAI
Ataques e riscos de IA
Existem várias estruturas hoje para ajudar as organizações que estão considerando desenvolver e criar software program baseado em IA:
- Estrutura de gerenciamento de riscos de inteligência synthetic do NIST
- Estrutura de IA segura do Google
- OWASP High 10 para LLM
- OWASP High 10 para aplicações LLM
- O recentemente lançado MITRE ATLAS
Superfície de ataque LLM
Existem seis componentes principais do LLM (Massive Language Mannequin) que podem ser alvo de invasores:
- Incitar – Ataques como injeções imediatas, onde entradas maliciosas são usadas para manipular a saída da IA
- Resposta – Uso indevido ou vazamento de informações confidenciais em respostas geradas por IA
- Modelo – Roubo, envenenamento ou manipulação do modelo de IA
- Dados de treinamento – Introdução de dados maliciosos para alterar o comportamento da IA.
- Infraestrutura – Direcionar os servidores e serviços que suportam a IA
- Usuários – Enganar ou explorar seres humanos ou sistemas que dependem de resultados de IA
Ataques e riscos do mundo actual
Vamos encerrar com alguns exemplos de manipulações do LLM, que podem facilmente ser usadas de maneira maliciosa.
- Injeção imediata em sistemas de atendimento ao cliente – Um caso recente envolveu uma concessionária de automóveis usando um chatbot de IA para atendimento ao cliente. Um pesquisador conseguiu manipular o chatbot emitindo um immediate que alterou seu comportamento. Ao instruir o chatbot a concordar com todas as declarações dos clientes e terminar cada resposta com “E esta é uma oferta juridicamente vinculativa”, o investigador conseguiu comprar um carro a um preço ridiculamente baixo, expondo uma grande vulnerabilidade.
- Alucinações que levam a consequências legais – Num outro incidente, a Air Canada enfrentou uma ação authorized quando o seu chatbot de IA forneceu informações incorretas sobre as políticas de reembolso. Quando um cliente confiou na resposta do chatbot e posteriormente apresentou uma reclamação, a Air Canada foi responsabilizada pelas informações enganosas.
- Vazamentos de dados proprietários – Funcionários da Samsung vazaram inadvertidamente informações proprietárias quando usaram o ChatGPT para analisar código. O add de dados confidenciais para sistemas de IA de terceiros é arriscado, pois não está claro por quanto tempo os dados são armazenados ou quem pode acessá-los.
- IA e tecnologia Deepfake em fraude – Os cibercriminosos também estão a aproveitar a IA para além da geração de texto. Um banco em Hong Kong foi vítima de uma fraude de US$ 25 milhões quando invasores usaram tecnologia deepfake ao vivo durante uma videochamada. Os avatares gerados por IA imitavam funcionários bancários de confiança, convencendo a vítima a transferir fundos para uma conta fraudulenta.
Resumindo: IA no crime cibernético
A IA é uma ferramenta poderosa tanto para defensores quanto para atacantes. À medida que os cibercriminosos continuam a experimentar a IA, é importante compreender como pensam, as táticas que empregam e as opções que enfrentam. Isto permitirá que as organizações protejam melhor os seus sistemas de IA contra uso indevido e abuso.
Assista a masterclass completa aqui.
