Hoje, os desenvolvedores do Home windows podem aproveitar o PyTorch para executar inferências nos modelos mais recentes em toda a variedade de GPUs no ecossistema Home windows, graças ao DirectML. Atualizamos o Torch-DirectML para usar DirectML 1.13 para aceleração e suporte ao PyTorch 2.2. PyTorch com DirectML simplifica o processo de configuração, por meio de uma instalação de pacote único, facilitando a experimentação de experiências baseadas em IA e apoiando sua capacidade de dimensionar IA para seus clientes no Home windows.
Para ver essas atualizações em ação, confira nossa sessão Construct Leve experiências de IA para todos os seus dispositivos Home windows.
Veja aqui para saber como nossos parceiros fornecedores de {hardware} estão tornando essa experiência excelente:
- AMD: A AMD está feliz que o PyTorch com DirectML esteja permitindo que ainda mais desenvolvedores executem LLMs localmente. Saiba mais sobre onde mais a AMD está investindo com DirectML.
- Informações: A Intel está entusiasmada em oferecer suporte ao PyTorch da Microsoft com objetivos DirectML – consulte nosso weblog para saber mais sobre o suporte completo disponível hoje.
- NVIDIA: A NVIDIA espera que os desenvolvedores usem o pacote torch-directml acelerado por GPUs RTX. Confira todos os anúncios do Microsoft Construct relacionados à NVIDIA em torno de PCs RTX AI e sua colaboração expandida com a Microsoft.
PyTorch com DirectML é fácil de usar com os mais recentes modelos de IA generativa
PyTorch com DirectML fornece uma maneira fácil de usar para os desenvolvedores experimentarem os melhores e mais recentes modelos de IA em suas máquinas Home windows. Esta atualização se baseia na plataforma de inferência de classe mundial do DirectML, garantindo que essas otimizações forneçam uma experiência escalonável e de alto desempenho nos mais recentes modelos de IA generativa. Nosso objetivo nesta atualização é garantir uma experiência perfeita com modelos relevantes da Geração de IA, como Llama 2, Llama 3, Mistral, Phi 2 e Phi 3 Mini, e expandiremos nossa cobertura ainda mais nos próximos meses!
A melhor parte é que usar o pacote Torch-DirectML mais recente com sua GPU do Home windows é tão simples quanto executar:
pip set up torch-directml
Depois de instalado, confira nosso exemplo de modelo de linguagem que permitirá que você execute um modelo de linguagem localmente rapidamente! Comece instalando alguns requisitos e fazendo login na CLI do Hugging Face:
pip set up –r necessities.txt huggingface-cli login
Em seguida, execute o comando a seguir, que baixa o modelo Hugging Face especificado, otimiza-o para DirectML e executa o modelo em uma sessão Gradio baseada em chat interativo!
python app.py --model_repo “microsoft/Phi-3-mini-4k-instruct”
Phi 3 Mini 4K rodando localmente usando DirectML por meio da interface Gradio Chatbot.
Esses exemplos mais recentes de PyTorch com DirectML funcionam em uma variedade de máquinas e apresentam melhor desempenho em GPUs recentes equipadas com os drivers mais recentes. Confira a seção Modelos Suportados do exemplo para obter mais informações sobre os requisitos de memória da GPU para cada modelo.
Essa experiência de inferência contínua é potencializada por nossos estreitos relacionamentos de coengenharia com nossos parceiros de {hardware} para garantir que você aproveite ao máximo sua GPU do Home windows ao aproveitar o DirectML.
Experimente PyTorch com DirectML hoje
Experimentar esta atualização é realmente tão simples quanto executar “pip set up tocha-directml” em seu ambiente Python existente e seguindo as instruções em um de nossos exemplos. Para obter mais orientações sobre como configurar, visite a página Habilitar PyTorch com DirectML no Home windows no Microsoft Study.
Este é apenas o começo do próximo capítulo com DirectML e PyTorch! Fique atento para uma cobertura mais ampla de casos de uso, expansão para outros aceleradores locais, como NPUs e muito mais. Nosso objetivo é encontrar os desenvolvedores onde eles estão, para que possam usar as ferramentas certas para construir a próxima onda de inovação em IA.
Estamos entusiasmados para que os desenvolvedores continuem inovando com IA generativa de ponta no Home windows e criem os aplicativos de IA do futuro!