Os riscos de segurança representados pelo formato Pickle vieram mais uma vez à tona com a descoberta de uma nova “técnica de exploração de modelo híbrido de aprendizado de máquina (ML)” chamada Sleepy Pickle.
O método de ataque, por Path of Bits, transforma o formato onipresente usado para empacotar e distribuir modelos de aprendizado de máquina (ML) como uma arma para corromper o próprio modelo, representando um grave risco na cadeia de suprimentos para os clientes downstream de uma organização.
“Sleepy Pickle é uma técnica de ataque nova e furtiva que tem como alvo o próprio modelo de ML, e não o sistema subjacente”, disse o pesquisador de segurança Boyan Milanov.
Embora pickle seja um formato de serialização amplamente usado por bibliotecas de ML como PyTorch, ele pode ser usado para realizar ataques arbitrários de execução de código simplesmente carregando um arquivo pickle (ou seja, durante a desserialização).
“Sugerimos carregar modelos de usuários e organizações em que você confia, confiando em commits assinados e/ou carregando modelos de formatos (TensorFlow) ou Jax com o mecanismo de conversão automática from_tf=True”, aponta Hugging Face em sua documentação.
Sleepy Pickle funciona inserindo uma carga útil em um arquivo pickle usando ferramentas de código aberto como Fickling e, em seguida, entregando-a a um host de destino usando uma das quatro técnicas, como ataque de adversário no meio (AitM), phishing , comprometimento da cadeia de abastecimento ou exploração de uma fraqueza do sistema.
“Quando o arquivo é desserializado no sistema da vítima, a carga útil é executada e modifica o modelo contido no native para inserir backdoors, controlar saídas ou adulterar dados processados antes de devolvê-los ao usuário”, disse Milanov.
Em outras palavras, a carga útil injetada no arquivo pickle contendo o modelo de ML serializado pode ser abusada para alterar o comportamento do modelo, adulterando os pesos do modelo ou adulterando os dados de entrada e saída processados pelo modelo.
Num cenário de ataque hipotético, a abordagem poderia ser usada para gerar resultados prejudiciais ou desinformação que podem ter consequências desastrosas para a segurança do utilizador (por exemplo, beber lixívia para curar a gripe), roubar dados do utilizador quando determinadas condições são satisfeitas e atacar os utilizadores indirectamente, gerando resumos manipulados de artigos de notícias com hyperlinks apontando para uma página de phishing.
Path of Bits disse que Sleepy Pickle pode ser transformado em arma por agentes de ameaças para manter acesso clandestino em sistemas de ML de uma maneira que evite a detecção, visto que o modelo é comprometido quando o arquivo pickle é carregado no processo Python.
Isso também é mais eficaz do que enviar diretamente um modelo malicioso para o Hugging Face, pois pode modificar o comportamento ou a saída do modelo dinamicamente, sem ter que convencer seus alvos a baixá-los e executá-los.
“Com o Sleepy Pickle, os invasores podem criar arquivos pickle que não são modelos de ML, mas ainda podem corromper modelos locais se carregados juntos”, disse Milanov. “A superfície de ataque é, portanto, muito mais ampla, porque o controle sobre qualquer arquivo pickle na cadeia de suprimentos da organização alvo é suficiente para atacar seus modelos”.
“Sleepy Pickle demonstra que ataques avançados em nível de modelo podem explorar os pontos fracos da cadeia de suprimentos de nível inferior por meio das conexões entre os componentes de software program subjacentes e o aplicativo last.”
