Controle de alucinações: benefícios e riscos da implantação de LLMs como parte de processos de segurança

Giant Language Fashions (LLMs) treinados em grandes quantidades de dados podem tornar as equipes de operações de segurança mais inteligentes. Os LLMs fornecem sugestões e orientações on-line sobre resposta, auditorias, gerenciamento de postura e muito mais. A maioria das equipes de segurança está experimentando ou usando LLMs para reduzir o trabalho guide nos fluxos de trabalho. Isso pode ser tanto para tarefas mundanas quanto complexas.

Por exemplo, um LLM pode consultar um funcionário por e-mail se ele pretende compartilhar um documento proprietário e processar a resposta com uma recomendação para um profissional de segurança. Um LLM também pode ser encarregado de traduzir solicitações para procurar ataques à cadeia de suprimentos em módulos de código aberto e criar agentes focados em condições específicas – novos contribuidores para bibliotecas amplamente utilizadas, padrões de código impróprios – com cada agente preparado para essa condição específica.

Dito isto, estes poderosos sistemas de IA apresentam riscos significativos que são diferentes de outros riscos enfrentados pelas equipas de segurança. Os modelos que alimentam LLMs de segurança podem ser comprometidos por meio de injeção imediata ou envenenamento de dados. Ciclos de suggestions contínuos e algoritmos de aprendizado de máquina sem orientação humana suficiente podem permitir que atores mal-intencionados investiguem os controles e, em seguida, induzam respostas mal direcionadas. LLMs são propensos a alucinações, mesmo em domínios limitados. Mesmo os melhores LLMs inventam coisas quando não sabem a resposta.

Os processos de segurança e as políticas de IA em torno do uso e dos fluxos de trabalho do LLM se tornarão mais críticos à medida que esses sistemas se tornarem mais comuns nas operações e pesquisas de segurança cibernética. Garantir que esses processos sejam cumpridos e medidos e contabilizados nos sistemas de governança será essential para garantir que os CISOs possam fornecer cobertura GRC (Governança, Risco e Conformidade) suficiente para cumprir novos mandatos, como o Quadro de Segurança Cibernética 2.0.

A enorme promessa dos LLMs em segurança cibernética

Os CISOs e suas equipes lutam constantemente para acompanhar a crescente onda de novos ataques cibernéticos. De acordo com a Qualys, o número de CVEs relatados em 2023 atingiu um novo recorde de 26.447. Isso representa um aumento de mais de 5 vezes em relação a 2013.

Este desafio só se torna mais exigente à medida que a superfície de ataque da organização média aumenta a cada ano que passa. As equipes AppSec devem proteger e monitorar muito mais aplicativos de software program. A computação em nuvem, APIs, tecnologias multinuvem e de virtualização acrescentaram complexidade adicional. Com ferramentas e processos modernos de CI/CD, as equipes de aplicativos podem enviar mais código, com mais rapidez e frequência. Os microsserviços dividiram aplicativos monolíticos em inúmeras APIs e superfícies de ataque e também abriram muitos outros buracos em firewalls globais para comunicação com serviços externos ou dispositivos de clientes.

Os LLMs avançados são uma promessa tremenda para reduzir a carga de trabalho das equipes de segurança cibernética e melhorar suas capacidades. As ferramentas de codificação baseadas em IA penetraram amplamente no desenvolvimento de software program. A pesquisa do Github descobriu que 92% dos desenvolvedores estão usando ou já usaram ferramentas de IA para sugestão e conclusão de código. A maioria dessas ferramentas de “copiloto” possui alguns recursos de segurança. Na verdade, disciplinas programáticas com resultados relativamente binários, como codificação (o código passará ou falhará nos testes de unidade) são adequadas para LLMs. Além da varredura de código para desenvolvimento de software program e no pipeline de CI/CD, a IA pode ser valiosa para equipes de segurança cibernética de várias outras maneiras:

• Análise aprimorada: Os LLMs podem processar grandes quantidades de dados de segurança (logs, alertas, inteligência de ameaças) para identificar padrões e correlações invisíveis para os humanos. Eles podem fazer isso em vários idiomas, 24 horas por dia e em diversas dimensões simultaneamente. Isso abre novas oportunidades para equipes de segurança. Os LLMs podem queimar uma pilha de alertas quase em tempo actual, sinalizando aqueles que têm maior probabilidade de serem graves. Através da aprendizagem por reforço, a análise deve melhorar com o tempo.
• Automação: Os LLMs podem automatizar tarefas da equipe de segurança que normalmente exigem conversação. Por exemplo, quando uma equipe de segurança recebe um IoC e precisa perguntar ao proprietário de um endpoint se ele realmente se conectou a um dispositivo ou se está localizado em algum lugar fora de suas zonas normais de trabalho, o LLM pode realizar essas operações simples e depois seguir faça perguntas conforme necessário e hyperlinks ou instruções. Costumava ser uma interação que um membro da equipe de TI ou de segurança tinha que conduzir por conta própria. Os LLMs também podem fornecer funcionalidades mais avançadas. Por exemplo, um Microsoft Copilot for Safety pode gerar relatórios de análise de incidentes e traduzir códigos complexos de malware em descrições em linguagem pure.
• Aprendizado e ajuste contínuos: Ao contrário dos sistemas anteriores de aprendizado de máquina para políticas e compreensão de segurança, os LLMs podem aprender dinamicamente, ingerindo classificações humanas de sua resposta e sintonizando conjuntos de dados mais recentes que podem não estar contidos em arquivos de log internos. Na verdade, usando o mesmo modelo basic subjacente, os LLMs de segurança cibernética podem ser ajustados para diferentes equipes e suas necessidades, fluxos de trabalho ou tarefas específicas regionais ou verticais. Isso também significa que todo o sistema pode ser instantaneamente tão inteligente quanto o modelo, com as alterações se propagando rapidamente em todas as interfaces.

Risco de LLMs para segurança cibernética

Sendo uma nova tecnologia com um histórico curto, os LLMs apresentam sérios riscos. Pior ainda, compreender a extensão complete desses riscos é um desafio porque os resultados do LLM não são 100% previsíveis ou programáticos. Por exemplo, os LLMs podem “alucinar” e inventar respostas ou responder perguntas incorretamente, com base em dados imaginários. Antes de adotar LLMs para casos de uso de segurança cibernética, deve-se considerar os riscos potenciais, incluindo:

• Injeção imediata: Os invasores podem criar prompts maliciosos especificamente para produzir resultados enganosos ou prejudiciais. Este tipo de ataque pode explorar a tendência do LLM de gerar conteúdo com base nas solicitações que recebe. Em casos de uso de segurança cibernética, a injeção imediata pode ser mais arriscada como forma de ataque interno ou ataque por um usuário não autorizado que usa prompts para alterar permanentemente as saídas do sistema, distorcendo o comportamento do modelo. Isso poderia gerar resultados imprecisos ou inválidos para outros usuários do sistema.
• Envenenamento de dados: Os dados de treinamento dos quais os LLMs dependem podem ser corrompidos intencionalmente, comprometendo sua tomada de decisão. Em ambientes de segurança cibernética, onde as organizações provavelmente usam modelos treinados por fornecedores de ferramentas, o envenenamento de dados pode ocorrer durante o ajuste do modelo para o cliente e caso de uso específicos. O risco aqui pode ser um usuário não autorizado adicionar dados incorretos – por exemplo, arquivos de log corrompidos – para subverter o processo de treinamento. Um usuário autorizado também pode fazer isso inadvertidamente. O resultado seriam resultados do LLM baseados em dados incorretos.
• Alucinações: conforme mencionado anteriormente, os LLMs podem gerar respostas factualmente incorretas, ilógicas ou mesmo maliciosas devido a mal-entendidos de prompts ou falhas de dados subjacentes. Em casos de uso de segurança cibernética, as alucinações podem resultar em erros críticos que prejudicam a inteligência de ameaças, a triagem e correção de vulnerabilidades e muito mais. Como a segurança cibernética é uma atividade de missão crítica, os LLMs devem obedecer a um padrão mais elevado de gestão e prevenção de alucinações nestes contextos.

À medida que os sistemas de IA se tornam mais capazes, as suas implementações de segurança da informação expandem-se rapidamente. Para ser claro, muitas empresas de segurança cibernética há muito usam correspondência de padrões e aprendizado de máquina para filtragem dinâmica. O que há de novo na period da IA ​​generativa são os LLMs interativos que fornecem uma camada de inteligência sobre os fluxos de trabalho e conjuntos de dados existentes, melhorando idealmente a eficiência e aprimorando as capacidades das equipes de segurança cibernética. Em outras palavras, a GenAI pode ajudar os engenheiros de segurança a fazer mais com menos esforço e os mesmos recursos, gerando melhor desempenho e processos acelerados.