A Meta revelou o Llama 3.1, seu mais recente e avançado modelo de linguagem grande, marcando um salto significativo em recursos e acessibilidade de IA. Este novo lançamento se alinha com o compromisso da Meta em tornar a IA abertamente acessível, conforme enfatizado por Mark Zuckerberg, que acredita que a IA de código aberto é benéfica para desenvolvedores, Meta e a sociedade em geral.
Para apresentar o Llama 3.1, Mark Zuckerberg escreveu um submit detalhado no weblog intitulado “Open Supply AI Is the Path Ahead” (IA de código aberto é o caminho a seguir), descrevendo sua visão para o futuro da IA. Ele traça um paralelo entre a evolução do Unix para o Linux e a trajetória atual da IA, enfatizando que a IA de código aberto acabará liderando a indústria. Zuckerberg destaca as vantagens da IA de código aberto, incluindo personalização, eficiência de custos, segurança de dados e evitar o bloqueio de fornecedores.
Ele acredita que o desenvolvimento de código aberto promove a inovação, cria um ecossistema robusto e garante acesso equitativo à tecnologia de IA. Zuckerberg também aborda preocupações sobre segurança, defendendo que a IA de código aberto, por meio da transparência e do escrutínio da comunidade, pode ser mais segura do que modelos fechados, como os modelos GPT da OpenAI.
O compromisso da Meta com a IA de código aberto visa construir as melhores experiências e serviços, livres das restrições de ecossistemas fechados. Ele conclui convidando desenvolvedores e organizações a se juntarem na construção de um futuro onde a IA beneficia a todos, promovendo colaboração e avanço contínuo.
Principais conclusões
- Compromisso de Acessibilidade Aberta: A Meta continua sua dedicação à IA de código aberto, visando democratizar o acesso e a inovação.
- Capacidades aprimoradas: O Llama 3.1 apresenta uma expansão de comprimento de contexto para 128K, suporta oito idiomas e apresenta o Llama 3.1 405B, o primeiro modelo de IA de código aberto de nível de fronteira.
- Flexibilidade e controle inigualáveis: O Llama 3.1 405B oferece recursos de última geração comparáveis aos principais modelos de código fechado, permitindo novos fluxos de trabalho, como geração de dados sintéticos e destilação de modelos.
- Suporte abrangente ao ecossistema: Com mais de 25 parceiros, incluindo grandes empresas de tecnologia como AWS, NVIDIA e Google Cloud, o Llama 3.1 está pronto para uso imediato em várias plataformas.
Visão geral do Llama 3.1
Capacidades de última geração
O Llama 3.1 405B foi projetado para rivalizar com os melhores modelos de IA disponíveis hoje. Ele se destaca em conhecimento geral, dirigibilidade, matemática, uso de ferramentas e tradução multilíngue. Espera-se que este modelo impulsione a inovação em campos como geração de dados sintéticos e destilação de modelos, oferecendo oportunidades sem precedentes para crescimento e exploração.
Modelos atualizados
O lançamento inclui versões aprimoradas dos modelos 8B e 70B, que agora oferecem suporte a vários idiomas e têm extensões de contexto estendidas de até 128K. Essas melhorias permitem aplicativos avançados, como resumo de texto de formato longo, agentes de conversação multilíngues e assistentes de codificação.
Disponibilidade de código aberto
Fiel à sua filosofia de código aberto, a Meta está disponibilizando esses modelos para obtain no Meta e no Hugging Face. Os desenvolvedores podem utilizar esses modelos para uma variedade de aplicações, incluindo melhorar outros modelos, e podem executá-los em diversos ambientes, desde no native até implantações na nuvem e locais.
Avaliações e Arquitetura de Modelos
Avaliações Extensas
O Llama 3.1 foi rigorosamente testado em mais de 150 conjuntos de dados de benchmark em vários idiomas e comparado com modelos líderes como GPT-4 e Claude 3.5 Sonnet. Os resultados mostram que o Llama 3.1 é competitivo em uma ampla gama de tarefas, consolidando seu lugar entre os modelos de IA de primeira linha.
Técnicas de Treinamento Avançado
O treinamento do modelo 405B envolveu o processamento de mais de 15 trilhões de tokens usando mais de 16.000 GPUs H100. A Meta adotou um modelo de transformador somente decodificador padrão com procedimentos iterativos de pós-treinamento, incluindo ajuste fino supervisionado e otimização de preferência direta, para obter dados sintéticos de alta qualidade e desempenho superior.
Inferência Eficiente
Para dar suporte à inferência de produção em larga escala, os modelos do Llama 3.1 foram quantizados de números de 16 bits para 8 bits, reduzindo os requisitos computacionais e permitindo que o modelo fosse executado com eficiência em um único nó de servidor.
Instrução e ajuste fino do bate-papo
A Meta se concentrou em aprimorar a capacidade do modelo de seguir instruções detalhadas e manter altos níveis de segurança. Isso envolveu várias rodadas de alinhamento sobre o modelo pré-treinado, usando geração de dados sintéticos e técnicas rigorosas de processamento de dados para garantir saídas de alta qualidade em todas as capacidades.
O Sistema Lhama
O Llama 3.1 faz parte de um sistema mais amplo projetado para trabalhar com vários componentes, incluindo ferramentas externas. O Meta visa fornecer aos desenvolvedores a flexibilidade para criar aplicativos e comportamentos personalizados. O lançamento inclui o Llama Guard 3 e o Immediate Guard para maior segurança e proteção.
API de pilha de lhama
A Meta está liberando uma solicitação de comentário sobre a Llama Stack API, uma interface padrão para facilitar o uso de modelos Llama por projetos de terceiros. Esta iniciativa visa simplificar a interoperabilidade e reduzir barreiras para desenvolvedores e provedores de plataforma.
Construindo com Llama 3.1 405B
O Llama 3.1 405B oferece recursos extensivos para desenvolvedores, incluindo inferência em tempo actual e em lote, ajuste fino supervisionado, avaliação de modelo, pré-treinamento contínuo, geração aumentada de recuperação (RAG), chamada de função e geração de dados sintéticos. No primeiro dia, os desenvolvedores podem começar a construir com esses recursos avançados, suportados por parceiros como AWS, NVIDIA e Databricks.
Experimente o Llama 3.1 hoje
Os modelos Llama 3.1 estão disponíveis para obtain e desenvolvimento imediato. A Meta incentiva a comunidade a explorar o potencial desses modelos e contribuir para o ecossistema em crescimento. Com medidas de segurança robustas e acesso de código aberto, o Llama 3.1 está pronto para impulsionar a próxima onda de inovação em IA.
Conclusão
O Llama 3.1 representa um marco significativo na evolução da IA de código aberto, oferecendo capacidades e flexibilidade inigualáveis. O compromisso da Meta com a acessibilidade aberta garante que mais pessoas possam se beneficiar dos avanços da IA, promovendo a inovação e a implantação equitativa da tecnologia. Com o Llama 3.1, as possibilidades para novas aplicações e pesquisas são vastas, e a Meta aguarda ansiosamente os desenvolvimentos inovadores que a comunidade alcançará com esta ferramenta poderosa.
Os leitores que desejam saber mais devem ler a postagem detalhada do weblog de Mark Zuckerberg.
