Os leitores ajudam a oferecer suporte ao Home windows Report. Podemos receber uma comissão se você comprar através de nossos hyperlinks.
Leia nossa página de divulgação para descobrir como você pode ajudar o Home windows Report a sustentar a equipe editorial Leia mais
Os últimos anos testemunharam uma tremenda integração de IA, com a Microsoft liderando o processo. Ao mesmo tempo, a gigante tecnológica sediada em Redmond está a tomar medidas para minimizar ameaças e proteger os sistemas baseados em IA. Numa tentativa de conseguir isso, a Microsoft desenvolveu Destaque!
Destaque é na verdade uma família de técnicas que reduz a taxa de sucesso de ataques a sistemas de IA de 20% abaixo do limite de detecção sem afetar o desempenho. A Microsoft descreve Destaque como
O Spotlighting (também conhecido como marcação de dados) torna os dados externos claramente separáveis das instruções do LLM, com diferentes métodos de marcação oferecendo uma gama de compensações de qualidade e robustez que dependem do modelo em uso.
O destaque ajuda contra Conteúdo envenenado, um tipo de ataque que usa conteúdo aparentemente inofensivo para explorar vulnerabilidades no sistema de IA. Por exemplo, um e-mail que, quando resumido, emitiria instruções ao sistema de IA para procurar informações críticas e partilhá-las.
Nesses casos, a Microsoft Destaque impede que os LLMs leiam conteúdo oculto que contém instruções para um ataque, protegendo assim o sistema de IA.
Microsoft descobre um novo tipo de ataque, Crescendo
Crescendo ou multiturn LLM jailbreak é um ataque capaz de contornar os filtros de segurança existentes e pode afetar a maioria dos LLMs populares, embora não represente riscos de privacidade ou segurança para os usuários finais ou sistemas de IA.
O weblog oficial da Microsoft descreve Crescendo como,
Basicamente, o Crescendo engana os LLMs para que gerem conteúdo malicioso, explorando suas próprias respostas. Ao fazer perguntas ou instruções cuidadosamente elaboradas que gradualmente levam o LLM a um resultado desejado, em vez de pedir a meta de uma só vez, é possível contornar barreiras e filtros – isso geralmente pode ser alcançado em menos de 10 turnos de interação.
A gigante da tecnologia baseada em Redmon fez alterações no chatbot nativo, Copiloto da Microsoftpara evitar que ele seja vítima de Crescendo. Isto inclui a introdução de camadas adicionais de filtragem e segurança, nomeadamente, Filtro de alerta multivolta, Cão de guarda de IAe Pesquisa avançada.
As descobertas também foram compartilhadas com outras empresas de IA. Você pode ler mais sobre Crescendo no artigo de pesquisa da Microsoft.
A IA, embora seja uma inovação revolucionária, representa uma ampla gama de ameaças, tanto para os usuários finais quanto para as organizações. O presidente da Microsoft, Brad Smith, expressou preocupação com a IA em uma entrevista recente e pediu regulamentações e um freio de segurança.
A IA também está por trás de ataques cibernéticos sofisticados que são difíceis de detectar e podem causar danos significativos. A Microsoft acredita que a IA é a melhor maneira de combater ameaças apoiadas por IA, e parece ser o caso atualmente!
O que você acha da Microsoft Destaque e se isso poderia mitigar os riscos? Compartilhe com nossos leitores na seção de comentários.
Kazim Ali Alva
Kazim sempre gostou de tecnologia, seja navegando pelas configurações de seu iPhone, dispositivo Android ou PC com Home windows. Ele é especializado em dispositivos de {hardware}, sempre pronto para remover um ou dois parafusos para descobrir an actual causa de um problema. Usuário de longa knowledge do Home windows, Kazim está pronto para fornecer uma solução para todos os seus erros de software program e {hardware} no Home windows 11, Home windows 10 e qualquer iteração anterior. Ele também é um de nossos especialistas em Rede e Segurança.
