Os leitores ajudam a oferecer suporte ao Windows Report. Quando você faz uma compra usando links em nosso site, podemos lucrar uma percentagem de afiliado.
Leia a página de divulgação de afiliados para deslindar uma vez que você pode ajudar o Windows Report sem esforço e sem gastar nenhum moeda. Consulte Mais informação
Recentemente, a Microsoft lançou uma estrutura de automação oportunidade, PyRIT (Python Risk Identification Toolkit for generative AI), que visa capacitar especialistas em segurança e engenheiros de ML para identificar riscos e impedir que seus sistemas de geração de IA se tornem desonestos.
A instrumento já é usada pelo AI Red Team da Microsoft para verificar riscos em seus sistemas generativos de IA, incluindo o Copilot.
No pregão, a empresa enfatizou que a liberação da instrumento interna para uso do público em universal e demais investimentos realizados em red teaming AI fazem segmento de seu compromisso com a democratização da segurança da IA.
Qual é a urgência de automação no AI Red Teaming?
Os sistemas de IA de equipe vermelha envolvem um processo multíplice de várias etapas, e o AI Red Team da Microsoft tem um grupo interdisciplinar devotado de especialistas em segurança para essa finalidade.
No entanto, os sistemas de IA generativos Red-teaming são diferentes dos sistemas de IA convencionais; cá estão alguns dos principais:
- Aborda riscos de segurança e de IA responsável ao mesmo tempo – Os sistemas tradicionais de IA concentram-se principalmente na norma de falhas de segurança; no entanto, os sistemas de IA generativa em equipe vermelha verificam tanto os riscos de segurança quanto os riscos de IA responsável, incluindo imprecisões, questões de imparcialidade ou problemas de geração de teor.
- Arquitetura dissemelhante – A arquitetura dos sistemas gen-AI varia de aplicativos independentes até integração em aplicativos existentes com diversas modalidades de ingressão e saída, uma vez que áudio, imagens, texto e vídeos.
- Natureza probabilística – Ao contrário dos sistemas clássicos de IA, a mesma ingressão pode produzir resultados diferentes em sistemas de geração de IA devido a vários fatores, uma vez que lógica específica do aplicativo, dinâmica do orquestrador com extensibilidade, versatilidade do padrão de IA generativo e nuances de ingressão de linguagem.
É por isso que o PyRIT foi introduzido, pois pode enfrentar todos os desafios colocados pela equipe vermelha gen-AI.
Uma vez que funciona o PyRIT?
Primeiro, o PyRit Agent envia um prompt malicioso ao Targeted Gen AI System; quando recebe uma resposta do sistema Gen AI, ele envia uma resposta ao mecanismo de pontuação PyRIT.
Em seguida, o mecanismo de pontuação envia a resposta ao Agente PyRit; portanto o agente envia um novo prompt com base no feedback do mecanismo de pontuação.
Leste processo de automação continua até que o técnico em segurança obtenha o resultado desejado.
Em um tirocínio de red teaming, a equipe da Microsoft escolheu uma categoria de dano, gerou milhares de prompts maliciosos e usou o mecanismo de pontuação do PyRIT para determinar a saída do sistema Copilot em algumas horas, em vez de semanas, usando métodos manuais.
Os resultados mostraram que o uso da instrumento pode aumentar a eficiência dos especialistas em segurança na invenção de brechas e na prevenção de sua exploração.
A gigante da tecnologia de Redmond também mencionou que o PyRIT não substitui o red teaming manual, mas serve uma vez que um complemento.
Aumenta a experiência dos profissionais de segurança, automatiza tarefas diárias e os torna mais eficientes. Ao mesmo tempo, o controle da estratégia e realização da operação da equipe vermelha de IA permanece sempre com os especialistas em segurança.
PyRit consiste em cinco componentes: Alvos (suporta várias formulações de alvos de IA de geração), Conjuntos de dados (permite a codificação de prompts estáticos ou dinâmicos), Mecanismo de pontuação (pontuação de resultados usando um classificador de estágio de máquina clássico ou um endpoint LLM), Estratégia de ataque (suporta ambos únicos estratégias de ataque de turnos e múltiplos turnos) e Memória (salva interações intermediárias de ingressão e saída para estudo aprofundada).
Você pode encolher o kit de ferramentas no site do GitHub e, para se habituar com ele, a versão inicial inclui demonstrações e cenários comuns.
Você já testou seu sistema Gen AI usando PyRIT? Se sim, compartilhe suas experiências na seção de comentários aquém.
Srishti Sisodia
Srishti Sisodia é engenheiro eletrônico e jornalista enamorado por tecnologia. Ela tem vasta experiência explorando os mais recentes avanços tecnológicos e compartilhando seus insights por meio de blogs informativos. Seus diversos interesses trazem uma perspectiva única ao seu trabalho, e ela aborda tudo com comprometimento, exaltação e vontade de aprender. É por isso que ela faz segmento da equipe de revisores do Windows Report, sempre disposta a compartilhar a experiência da vida real com qualquer resultado de software ou hardware. Ela também é especializada em Azure, computação em nuvem e IA.
