OpenAI introduziu uma nova maneira de economizar custos de processamento ao usar ChatGPT. A solução mais recente destinada a otimizar a eficiência do tratamento de tarefas assíncronas vem na forma da nova API Batch. As atualizações mais recentes fornecem uma nova maneira para os desenvolvedores interagirem com os modelos de aprendizado de máquina da OpenAI, facilitando o processamento em massa de tarefas como resumo, tradução e classificação de imagens. A introdução da API Batch promete reduções de custos significativas, limites de taxa aumentados e um fluxo de trabalho geral mais simplificado para usuários da plataforma OpenAI.
API de lote ChatGPT
Os modelos ChatGPT AI atualmente suportados incluem:
- gpt-3.5-turbo
- gpt-3.5-turbo-16k
- gpt-4
- gpt-4-32k
- gpt-4-turbo-visualização
- gpt-4-turbo
- gpt-3.5-turbo-0301
- gpt-3.5-turbo-16k-0613
- gpt-3.5-turbo-1106
- gpt-3.5-turbo-0613
- gpt-4-0314
- gpt-4-turbo-2024-04-09
- gpt-4-32k-0314
- gpt-4-32k-0613
Visão geral da API Batch
A API Batch permite que os desenvolvedores enviem solicitações em massa, carregando um único arquivo que contém várias tarefas. Este arquivo é processado de forma assíncrona, o que significa que as tarefas são concluídas em segundo plano sem exigir interação em tempo actual com a API. Os resultados são entregues em um período de 24 horas, o que ajuda a gerenciar e prever cargas de trabalho com mais eficiência.
Principais recursos e benefícios
- Eficiência de custos: OpenAI oferece um desconto de 50% no uso da API Batch em comparação com suas contrapartes síncronas. Esta estratégia de preços é particularmente vantajosa para empresas e desenvolvedores que buscam escalar suas operações sem incorrer em custos elevados.
- Limites de taxas mais altas: ao lidar com tarefas em massa, a API Batch oferece suporte a limites de taxa mais altos, permitindo assim que mais tarefas sejam processadas simultaneamente. Isto é essential para aplicações que requerem processamento de dados em grande escala.
- Capacidades de manipulação de arquivos: a API Batch oferece suporte a formatos de arquivo JSONL para uploads. Cada organização pode fazer add de arquivos com tamanho complete de até 100 GB, com limites de arquivos individuais limitados a 512 MB ou 2 milhões de tokens para Assistentes. Essa flexibilidade facilita uma ampla gama de tarefas, desde sessões de treinamento em aprendizado de máquina até análises de dados em grande escala.
- Modelos Suportados: A API cobre um amplo espectro de modelos OpenAI, incluindo várias iterações de GPT-3.5 e GPT-4. Esse amplo suporte garante que os desenvolvedores possam selecionar o modelo mais apropriado para suas necessidades específicas.
Detalhes Operacionais
- Prazo: todas as tarefas enviadas por meio da API Batch são processadas em um período de 24 horas. Essa previsibilidade nos tempos de processamento permite um melhor gerenciamento de projetos e recursos.
- Atualizações de standing: os desenvolvedores podem acompanhar o standing de seus trabalhos em lote por meio da API. Os standing incluem Validando, Em Andamento, Finalizando, Concluído, Expirado, Cancelando e Cancelado. Essa transparência garante que os desenvolvedores estejam sempre informados sobre o andamento de suas tarefas.
- Manipulação de erros: a OpenAI descreveu diretrizes claras para lidar com erros, como formatação incorreta de URL para endpoints em lote. Os desenvolvedores são aconselhados a consultar a documentação oficial para garantir o uso preciso do endpoint.
Desafios e Considerações
Embora a API Batch ofereça inúmeras vantagens, há considerações específicas a serem lembradas:
- Não suporte para streaming: a API atual não oferece suporte a streaming, o que pode limitar seu uso em aplicativos em tempo actual.
- Janela de tempo fixa: a janela de processamento de 24 horas não pode ser alterada, o que pode não estar alinhado com todos os cronogramas do projeto.
- Retenção de dados: a retenção zero de dados não é suportada neste endpoint, o que pode ser uma preocupação para aplicativos com requisitos rigorosos de privacidade de dados.
A API Batch da OpenAI representa um avanço significativo no domínio do processamento de tarefas assíncronas. Ao permitir o processamento em massa a custos reduzidos e com maior eficiência, a OpenAI permite que os desenvolvedores aproveitem o poder dos modelos avançados de IA de forma mais eficaz. À medida que as empresas continuam a integrar a IA nas suas estruturas operacionais, ferramentas como a API Batch serão cruciais para dimensionar aplicações para atender às demandas futuras. Para obter mais informações sobre a nova API Batch lançada recentemente pela OpenAI, acesse o website oficial de suporte da OpenAI.
Últimas ofertas de devices geeks
Divulgação: Alguns de nossos artigos incluem hyperlinks afiliados. Se você comprar algo por meio de um desses hyperlinks, o lifetechweb Devices poderá ganhar uma comissão de afiliado. Conheça nossa Política de Divulgação.
