A Microsoft lançou uma estrutura de automação de aproximação crédulo chamada PyRIT (abreviatura de Python Risk Identification Tool) para identificar proativamente riscos em sistemas generativos de perceptibilidade sintético (IA).
A instrumento red teaming foi projetada para “permitir que todas as organizações em todo o mundo inovem de forma responsável com os mais recentes avanços em perceptibilidade sintético”, disse Ram Shankar Siva Kumar, líder da equipe vermelha de IA da Microsoft.
A empresa disse que o PyRIT poderia ser usado para julgar a robustez dos endpoints do protótipo de linguagem grande (LLM) contra diferentes categorias de danos, porquê fabricação (por exemplo, alucinação), uso indevido (por exemplo, preconceito) e teor proibido (por exemplo, assédio).
Ele também pode ser usado para identificar danos à segurança, desde a geração de malware até o jailbreak, muito porquê danos à privacidade, porquê roubo de identidade.
PyRIT vem com cinco interfaces: fim, conjuntos de dados, mecanismo de pontuação, capacidade de suportar múltiplas estratégias de ataque e incorporação de um componente de memória que pode assumir a forma de JSON ou de um banco de dados para armazenar as interações intermediárias de ingressão e saída.
O mecanismo de pontuação também oferece duas opções diferentes para pontuar os resultados do sistema de IA fim, permitindo que os red teamers usem um classificador clássico de estágio de máquina ou aproveitem um endpoint LLM para autoavaliação.
“O objetivo é permitir que os pesquisadores tenham uma traço de base do desempenho de seu protótipo e de todo o pipeline de inferência em relação a diferentes categorias de danos e sejam capazes de confrontar essa traço de base com futuras iterações de seu protótipo”, disse a Microsoft.
“Isso permite que eles tenham dados empíricos sobre o desempenho atual de seu protótipo e detectem qualquer degradação de desempenho com base em melhorias futuras”.
Dito isto, a gigante da tecnologia tem o desvelo de enfatizar que o PyRIT não substitui a formação manual de equipes vermelhas de sistemas generativos de IA e que complementa a experiência de domínio existente de uma equipe vermelha.
Por outras palavras, a instrumento destina-se a sobresair os “pontos críticos” de risco, gerando avisos que podem ser usados para julgar o sistema de IA e sinalizar áreas que requerem investigação mais aprofundada.
A Microsoft reconheceu ainda que a formação de equipes vermelhas em sistemas de IA generativos exige a investigação simultânea dos riscos de segurança e de IA responsável e que o tirocínio é mais probabilístico, ao mesmo tempo que aponta as grandes diferenças nas arquiteturas de sistemas de IA generativos.
“A sondagem manual, embora demorada, é muitas vezes necessária para identificar potenciais pontos cegos”, disse Siva Kumar. “A automação é necessária para o dimensionamento, mas não substitui a sondagem manual.”
O desenvolvimento ocorre no momento em que a Protect AI revela múltiplas vulnerabilidades críticas em plataformas populares da ergástulo de suprimentos de IA, porquê ClearML, Hugging Face, MLflow e Triton Inference Server, que podem resultar na realização arbitrária de códigos e na divulgação de informações confidenciais.
