O governo dos EUA revelou novas diretrizes de segurança destinadas a reforçar a infraestrutura crítica contra ameaças relacionadas à inteligência synthetic (IA).
“Essas diretrizes são informadas pelo esforço de todo o governo para avaliar os riscos de IA em todos os dezesseis setores de infraestrutura crítica e abordar ameaças de e para sistemas de IA e envolvendo sistemas de IA”, disse o Departamento de Segurança Interna (DHS) na segunda-feira.
Além disso, a agência disse que está trabalhando para facilitar o uso seguro, responsável e confiável da tecnologia de uma maneira que não infrinja a privacidade, os direitos civis e as liberdades civis dos indivíduos.
A nova orientação diz respeito ao uso da IA para aumentar e dimensionar ataques a infraestruturas críticas, manipulação adversária de sistemas de IA e deficiências em tais ferramentas que podem resultar em consequências não intencionais, necessitando da necessidade de transparência e práticas seguras desde a concepção para avaliar e mitigar a IA riscos.
Especificamente, isso abrange quatro funções diferentes, como governar, mapear, medir e gerenciar todo o ciclo de vida da IA -
- Estabeleça uma cultura organizacional de gerenciamento de riscos de IA
- Entenda seu contexto particular person de uso de IA e perfil de risco
- Desenvolva sistemas para avaliar, analisar e rastrear riscos de IA
- Priorizar e agir de acordo com os riscos da IA para a segurança e proteção
“Os proprietários e operadores de infraestruturas críticas devem ter em conta a sua própria utilização da IA, específica do setor e do contexto, ao avaliar os riscos da IA e selecionar as mitigações apropriadas”, afirmou a agência.
“Os proprietários e operadores de infraestruturas críticas devem compreender onde existem essas dependências dos fornecedores de IA e trabalhar para partilhar e delinear responsabilidades de mitigação em conformidade.”
O desenvolvimento chega semanas depois que a aliança de inteligência 5 Eyes (FVEY), composta por Austrália, Canadá, Nova Zelândia, Reino Unido e EUA, divulgou uma ficha de informações de segurança cibernética observando a instalação e configuração cuidadosas necessárias para a implantação de sistemas de IA.
“A rápida adoção, implementação e utilização de capacidades de IA pode torná-las alvos altamente valiosos para ciberatores mal-intencionados”, afirmaram os governos.
“Os atores, que historicamente usaram o roubo de informações confidenciais e de propriedade intelectual para promover seus interesses, podem tentar cooptar sistemas de IA implantados e aplicá-los para fins maliciosos”.
As práticas recomendadas incluem tomar medidas para proteger o ambiente de implantação, revisar a origem dos modelos de IA e a segurança da cadeia de suprimentos, garantir uma arquitetura robusta do ambiente de implantação, fortalecer as configurações do ambiente de implantação, validar o sistema de IA para garantir sua integridade, proteger os pesos do modelo, impor controles de acesso rigorosos, conduza auditorias externas e implemente registros robustos.
No início deste mês, o Centro de Coordenação CERT (CERT/CC) detalhou uma falha na biblioteca de rede neural Keras 2 que poderia ser explorada por um invasor para trojanizar um modelo standard de IA e redistribuí-lo, envenenando efetivamente a cadeia de suprimentos de aplicativos dependentes.
Uma pesquisa recente descobriu que os sistemas de IA são vulneráveis a uma ampla gama de ataques de injeção imediata que induzem o modelo de IA a contornar os mecanismos de segurança e produzir resultados prejudiciais.
“Ataques de injeção imediata por meio de conteúdo envenenado são um grande risco de segurança porque um invasor que faz isso pode potencialmente emitir comandos para o sistema de IA como se fosse o usuário”, observou a Microsoft em um relatório recente.
Uma dessas técnicas, apelidada de Crescendo, foi descrita como um jailbreak de modelo de linguagem grande multiturno (LLM), que, como o jailbreak de muitos tiros do Anthropic, engana o modelo para gerar conteúdo malicioso “fazendo perguntas ou prompts cuidadosamente elaborados que gradualmente conduzem o LLM para um resultado desejado, em vez de pedir o objetivo de uma só vez.”
Os prompts de jailbreak do LLM tornaram-se populares entre os cibercriminosos que buscam criar iscas de phishing eficazes, mesmo quando atores estatais começaram a transformar a IA generativa em armas para orquestrar operações de espionagem e influenciar.
Ainda mais preocupante, estudos da Universidade de Illinois Urbana-Champaign descobriram que os agentes LLM podem ser usados para explorar autonomamente vulnerabilidades de um dia em sistemas do mundo actual, simplesmente usando suas descrições CVE e “hackear websites, executando tarefas tão complexas quanto extração cega de esquema de banco de dados e injeções de SQL sem suggestions humano.”
