A Apple disponibilizou publicamente seu ambiente de pesquisa digital (VRE) Personal Cloud Compute (PCC), permitindo que a comunidade de pesquisa inspecione e verifique as garantias de privacidade e segurança de sua oferta.
PCC, que a Apple revelou no início de junho, foi comercializado como a “arquitetura de segurança mais avançada já implantada para computação de IA em nuvem em escala”. Com a nova tecnologia, a ideia é descarregar solicitações computacionalmente complexas do Apple Intelligence para a nuvem de uma maneira que não sacrifique a privacidade do usuário.
A Apple disse que está convidando “todos os pesquisadores de segurança e privacidade – ou qualquer pessoa com interesse e curiosidade técnica – para aprender mais sobre o PCC e realizar sua própria verificação independente de nossas reivindicações”.
Para incentivar ainda mais a pesquisa, a fabricante do iPhone disse que está expandindo o programa Apple Safety Bounty para incluir o PCC, oferecendo pagamentos monetários que variam de US$ 50.000 a US$ 1.000.000 por vulnerabilidades de segurança nele identificadas.
Isso inclui falhas que podem permitir a execução de códigos maliciosos no servidor e explorações capazes de extrair dados confidenciais dos usuários ou informações sobre as solicitações do usuário.
O VRE tem como objetivo oferecer um conjunto de ferramentas para ajudar os pesquisadores a realizar suas análises de PCC no Mac. Ele vem com um processador Safe Enclave (SEP) digital e aproveita o suporte integrado do macOS para gráficos paravirtualizados para permitir inferência.
A Apple também disse que está disponibilizando o código-fonte associado a alguns componentes do PCC through GitHub para facilitar uma análise mais profunda. Isso inclui CloudAttestation, Thimble, splunkloggingd e srd_tools.
“Projetamos a computação em nuvem privada como parte da Apple Intelligence para dar um passo extraordinário em direção à privacidade na IA”, disse a empresa sediada em Cupertino. “Isso inclui fornecer transparência verificável – uma propriedade única que o diferencia de outras abordagens de IA baseadas em servidor.”
O desenvolvimento ocorre no momento em que pesquisas mais amplas sobre inteligência synthetic generativa (IA) continuam a descobrir novas maneiras de desbloquear grandes modelos de linguagem (LLMs) e produzir resultados não intencionais.
No início desta semana, a Palo Alto Networks detalhou uma técnica chamada Misleading Delight, que envolve a mistura de consultas maliciosas e benignas para enganar os chatbots de IA para que contornem suas barreiras de proteção, aproveitando sua limitada “capacidade de atenção”.
O ataque requer um mínimo de duas interações e funciona primeiro pedindo ao chatbot para conectar logicamente vários eventos – incluindo um tópico restrito (por exemplo, como fazer uma bomba) – e depois pedindo-lhe que elabore os detalhes de cada evento.
Os pesquisadores também demonstraram o que é chamado de ataque ConfusedPilot, que tem como alvo sistemas de IA baseados em geração aumentada de recuperação (RAG), como o Microsoft 365 Copilot, envenenando o ambiente de dados com um documento aparentemente inócuo contendo strings especificamente criadas.
“Este ataque permite a manipulação de respostas de IA simplesmente adicionando conteúdo malicioso a quaisquer documentos que o sistema de IA possa fazer referência, levando potencialmente a desinformação generalizada e processos de tomada de decisão comprometidos dentro da organização”, disse Symmetry Techniques.
Separadamente, descobriu-se que é possível adulterar o gráfico computacional de um modelo de aprendizado de máquina para plantar backdoors “sem código e sub-reptícios” em modelos pré-treinados como ResNet, YOLO e Phi-3, uma técnica chamada ShadowLogic.
“Backdoors criados usando esta técnica persistirão através do ajuste fino, o que significa que os modelos básicos podem ser sequestrados para acionar o comportamento definido pelo invasor em qualquer aplicativo downstream quando uma entrada de gatilho for recebida, tornando esta técnica de ataque um risco de alto impacto na cadeia de suprimentos de IA”, Os pesquisadores da Hidden Layer, Eoin Wickens, Kasimir Schulz e Tom Bonner, disseram.
“Ao contrário dos backdoors de software program padrão que dependem da execução de código malicioso, esses backdoors estão incorporados na própria estrutura do modelo, tornando-os mais difíceis de detectar e mitigar”.
