Pesquisadores de segurança cibernética descobriram uma falha crítica de segurança em um provedor de inteligência synthetic (IA) como serviço, Replicate, que poderia ter permitido que os atores de ameaças obtivessem acesso a modelos proprietários de IA e informações confidenciais.
“A exploração desta vulnerabilidade teria permitido acesso não autorizado aos prompts e resultados de IA de todos os clientes da plataforma Replicate”, disse a empresa de segurança em nuvem Wiz em um relatório publicado esta semana.
O problema decorre do fato de que os modelos de IA são normalmente empacotados em formatos que permitem a execução arbitrária de código, que um invasor pode transformar em arma para realizar ataques entre locatários por meio de um modelo malicioso.
O Replicate usa uma ferramenta de código aberto chamada Cog para conteinerizar e empacotar modelos de aprendizado de máquina que podem ser implantados em um ambiente auto-hospedado ou para replicar.
Wiz disse que criou um contêiner Cog desonesto e o carregou no Replicate, em última análise, empregando-o para obter execução remota de código na infraestrutura do serviço com privilégios elevados.
“Suspeitamos que esta técnica de execução de código seja um padrão, onde empresas e organizações executam modelos de IA a partir de fontes não confiáveis, mesmo que esses modelos sejam códigos que podem ser potencialmente maliciosos”, disseram os pesquisadores de segurança Shir Tamari e Sagi Tzadik.
A técnica de ataque desenvolvida pela empresa aproveitou uma conexão TCP já estabelecida associada a uma instância do servidor Redis dentro do cluster Kubernetes hospedado no Google Cloud Platform para injetar comandos arbitrários.
Além do mais, com o servidor Redis centralizado sendo usado como uma fila para gerenciar múltiplas solicitações de clientes e suas respostas, ele poderia ser abusado para facilitar ataques entre locatários, alterando o processo para inserir tarefas não autorizadas que poderiam impactar os resultados de outros modelos dos clientes.
Estas manipulações fraudulentas não só ameaçam a integridade dos modelos de IA, mas também representam riscos significativos para a precisão e fiabilidade dos resultados gerados pela IA.
“Um invasor poderia ter consultado os modelos privados de IA dos clientes, potencialmente expondo conhecimento proprietário ou dados confidenciais envolvidos no processo de treinamento do modelo”, disseram os pesquisadores. “Além disso, a interceptação de solicitações poderia ter exposto dados confidenciais, incluindo informações de identificação pessoal (PII).
A deficiência, que foi divulgada de forma responsável em janeiro de 2024, já foi corrigida pela Replicate. Não há evidências de que a vulnerabilidade tenha sido explorada para comprometer os dados dos clientes.
A divulgação ocorre pouco mais de um mês depois que Wiz detalhou os riscos agora corrigidos em plataformas como Hugging Face, que poderiam permitir que os agentes de ameaças aumentassem privilégios, obtivessem acesso entre locatários aos modelos de outros clientes e até mesmo assumissem a integração e implantação contínuas. (CI/CD) pipelines.
“Os modelos maliciosos representam um grande risco para os sistemas de IA, especialmente para os fornecedores de IA como serviço, porque os atacantes podem aproveitar estes modelos para realizar ataques entre inquilinos”, concluíram os investigadores.
“O impacto potencial é devastador, pois os invasores podem conseguir acessar milhões de modelos e aplicativos privados de IA armazenados em provedores de IA como serviço”.
