A batalha entre modelos de linguagem de código aberto versus modelos de linguagem de código fechado: uma análise técnica

Os grandes modelos de linguagem (LLMs) cativaram a comunidade de IA nos últimos anos, liderando avanços no processamento de linguagem procedente. Por trás do hype está um debate multíplice – esses modelos poderosos deveriam ser de código cândido ou de código fechado?

Neste post, analisaremos a diferenciação técnica entre essas abordagens para entender as oportunidades e limitações que cada uma apresenta. Abordaremos os seguintes aspectos principais:

• Definindo LLMs de código cândido e de código fechado
• Transparência arquitetônica e personalização
• Comparativo de desempenho
• Requisitos computacionais
• Versatilidade de emprego
• Acessibilidade e licenciamento
• Privacidade e confidencialidade dos dados
• Suporte e suporte mercantil

Ao final, você terá uma perspectiva informada sobre as compensações técnicas entre LLMs de código cândido e de código fechado para orientar sua própria estratégia de IA. Vamos submergir!

Definindo LLMs de código cândido versus código fechado

LLMs de código cândido têm arquiteturas de protótipo, código-fonte e parâmetros de peso acessíveis ao público. Isso permite que os pesquisadores inspecionem componentes internos, avaliem a qualidade, reproduzam resultados e criem variantes personalizadas. Os principais exemplos incluem ConstitutionalAI da Anthropic, LLaMA da Meta e GPT-NeoX da EleutherAI.

Em contraste, os LLMs de código fechado tratam a arquitetura e os pesos do protótipo uma vez que ativos proprietários. Entidades comerciais uma vez que Anthropic, DeepMind e OpenAI os desenvolvem internamente. Sem código conseguível ou detalhes de design, a reprodutibilidade e a personalização enfrentam limitações.

Transparência arquitetônica e personalização

O aproximação aos internos do LLM de código cândido abre oportunidades de personalização que simplesmente não são possíveis com alternativas de código fechado.

Ao ajustar a arquitetura do protótipo, os pesquisadores podem explorar técnicas uma vez que a introdução de conectividade esparsa entre camadas ou a soma de tokens de classificação dedicados para melhorar o desempenho em tarefas de nicho. Com aproximação aos parâmetros de peso, os desenvolvedores podem transferir representações existentes ou inicializar variantes com blocos de construção pré-treinados, uma vez que incorporações T5 e BERT.

Essa personalização permite que LLMs de código cândido atendam melhor a domínios especializados, uma vez que pesquisa biomédica, geração de código e ensino. No entanto, a experiência necessária pode aumentar a barreira para a entrega de implementações com qualidade de produção.

LLMs de código fechado oferecem personalização limitada, pois seus detalhes técnicos permanecem proprietários. No entanto, os seus apoiantes comprometem recursos extensivos para investigação e desenvolvimento interno. Os sistemas resultantes vão além do que é provável com uma arquitetura LLM generalizada.

Portanto, embora menos flexíveis, os LLMs de código fechado se destacam em tarefas de linguagem procedente amplamente aplicáveis. Eles também simplificam a integração em conformidade com interfaces estabelecidas uma vez que o padrão OpenAPI.

Comparativo de desempenho

Apesar da transparência arquitetônica, medir o desempenho do LLM de código cândido apresenta desafios. Sua flexibilidade permite inúmeras configurações e estratégias de ajuste possíveis. Também permite que modelos prefixados uma vez que “código cândido” incluam, na verdade, técnicas proprietárias que distorcem as comparações.

Os LLMs de código fechado apresentam metas de desempenho mais claramente definidas uma vez que benchmark de seus patrocinadores e anunciam limites de métricas específicas. Por exemplo, a Anthropic divulga a precisão do ConstitutionalAI em conjuntos de problemas NLU selecionados. A Microsoft destaca uma vez que o GPT-4 supera as linhas de base humanas no kit de ferramentas de compreensão de linguagem SuperGLUE.

Dito isto, estes benchmarks definidos de forma restrita enfrentaram críticas por exagerarem o desempenho em tarefas do mundo real e sub-representarem as falhas. A avaliação verdadeiramente recto do LLM permanece uma questão de pesquisa em cândido – tanto para abordagens de código cândido quanto para abordagens de código fechado.

Requisitos computacionais

O treinamento de grandes modelos de linguagem exige extensos recursos computacionais. A OpenAI gastou milhões treinando GPT-3 em infraestrutura em nuvem, enquanto a Anthropic consumiu mais de US$ 10 milhões em GPUs para ConstitutionalAI.

A conta para tais modelos exclui a maioria dos indivíduos e pequenas equipes da comunidade de código cândido. Na verdade, a EleutherAI teve que remover o protótipo GPT-J do aproximação público devido à explosão dos custos de hospedagem.

Sem grandes recursos, as histórias de sucesso do LLM de código cândido aproveitam os recursos de computação doados. A LAION fez a curadoria de seu protótipo LAION-5B com foco em tecnologia usando dados de crowdsourcing. O projeto sem fins lucrativos Antrópico ConstitucionalAI utilizou computação voluntária.

O grande pedestal tecnológico de empresas uma vez que Google, Meta e Baidu fornece aos esforços de código fechado o combustível financeiro necessário para industrializar o desenvolvimento de LLM. Isso permite escalar a níveis incompreensíveis para iniciativas de base – basta ver o protótipo Gopher de 280 bilhões de parâmetros da DeepMind.

Versatilidade de emprego

A personalização dos LLMs de código cândido permite mourejar com casos de uso altamente especializados. Os pesquisadores podem modificar agressivamente os componentes internos do protótipo para aumentar o desempenho em tarefas de nicho, uma vez que previsão de estrutura de proteínas, geração de documentação de código e verificação de provas matemáticas.

Dito isto, a capacidade de acessar e editar código não garante uma solução eficiente para um domínio específico sem os dados corretos. Conjuntos de dados de treinamento abrangentes para aplicações restritas exigem um esforço significativo para serem selecionados e mantidos atualizados.

Cá, os LLMs de código fechado se beneficiam dos recursos para obter dados de treinamento de repositórios internos e parceiros comerciais. Por exemplo, a DeepMind licencia bancos de dados uma vez que ChEMBL para química e UniProt para proteínas para expandir o alcance das aplicações. O aproximação a dados em graduação industrial permite que modelos uma vez que o Gopher alcancem versatilidade notável, apesar da opacidade arquitetônica.

Acessibilidade e Licenciamento

O licenciamento permissivo de LLMs de código cândido promove aproximação e colaboração gratuitos. Modelos uma vez que GPT-NeoX, LLaMA e Jurassic-1 Jumbo usam acordos uma vez que Creative Commons e Apache 2.0 para permitir pesquisas não comerciais e comercialização justa.

Em contraste, os LLMs de código fechado possuem licenças restritivas que limitam a disponibilidade do protótipo. As entidades comerciais controlam rigorosamente o aproximação para proteger potenciais fluxos de receita de APIs de previsão e parcerias empresariais.

Compreensivelmente, organizações uma vez que Anthropic e Cohere cobram pelo aproximação às interfaces ConstitutionalAI e Cohere-512. No entanto, isto corre o risco de excluir domínios de investigação importantes, desviando o desenvolvimento para indústrias muito financiadas.

O licenciamento cândido também apresenta desafios, nomeadamente em material de atribuição e responsabilidade. Porém, para casos de uso de pesquisa, as liberdades concedidas pela acessibilidade de código cândido oferecem vantagens claras.

Privacidade e confidencialidade de dados

Os conjuntos de dados de treinamento para LLMs normalmente agregam teor de várias fontes online, uma vez que páginas da web, artigos científicos e fóruns de discussão. Isso corre o risco de revelar informações pessoalmente identificáveis ​​ou sensíveis nos resultados do protótipo.

Para LLMs de código cândido, o fiscalização minucioso da constituição do conjunto de dados fornece a melhor proteção contra questões de confidencialidade. Calcular fontes de dados, filtrar procedimentos e documentar exemplos encontrados durante os testes pode ajudar a identificar vulnerabilidades.

Infelizmente, os LLMs de código fechado impedem essa auditoria pública. Em vez disso, os consumidores devem responsabilizar no rigor dos processos de revisão interna baseados nas políticas anunciadas. Para fins de contexto, os Serviços Cognitivos do Azure prometem filtrar dados pessoais, enquanto o Google especifica análises formais de privacidade e rotulagem de dados.

No universal, os LLMs de código cândido permitem uma identificação mais proativa de riscos de confidencialidade em sistemas de IA antes que essas falhas se manifestem em grande graduação. As contrapartes fechadas oferecem uma transparência relativamente limitada nas práticas de tratamento de dados.

Suporte e Suporte Mercantil

O potencial para rentabilizar LLMs de código fechado incentiva investimentos comerciais significativos para desenvolvimento e manutenção. Por exemplo, antecipando retornos lucrativos do seu portfólio Azure AI, a Microsoft concordou em parcerias multibilionárias com a OpenAI em torno de modelos GPT.

Em contraste, os LLMs de código cândido dependem de voluntários que alocam tempo pessoal para manutenção ou de subsídios que fornecem financiamento por prazo restringido. Esta assimetria de recursos coloca em risco a perpetuidade e a longevidade dos projetos de código cândido.

No entanto, as barreiras à comercialização também libertam as comunidades de código cândido para se concentrarem no progresso científico em detrimento do lucro. E a natureza descentralizada dos ecossistemas abertos atenua a submissão excessiva do interesse sustentado de qualquer financiador único.

Em última estudo, cada abordagem acarreta compromissos em torno de recursos e incentivos. Os LLMs de código fechado desfrutam de maior segurança de financiamento, mas concentram influência. Os ecossistemas abertos promovem a heterogeneidade, mas sofrem de maior incerteza.

Navegando no cenário LLM de código cândido versus código fechado

Resolver entre LLMs de código cândido ou fechado exige a correspondência de prioridades organizacionais, uma vez que personalização, acessibilidade e escalabilidade, com recursos de protótipo.

Para pesquisadores e startups, o código cândido concede mais controle para ajustar modelos para tarefas específicas. O licenciamento também facilita o compartilhamento gratuito de insights entre os colaboradores. No entanto, o peso da obtenção de dados e infraestruturas de formação pode minar a viabilidade no mundo real.

Por outro lado, os LLMs de código fechado prometem melhorias consideráveis ​​de qualidade, graças a vasto financiamento e dados. No entanto, as restrições em torno do aproximação e das modificações limitam a transparência científica, ao mesmo tempo que vinculam as implementações aos roteiros dos fornecedores.

Na prática, padrões abertos em torno de especificações de arquitetura, pontos de verificação de modelos e dados de avaliação podem ajudar a recompensar as desvantagens de ambas as abordagens. Fundações compartilhadas uma vez que os benchmarks Transformer do Google ou REALTO de Oxford melhoram a reprodutibilidade. Padrões de interoperabilidade uma vez que ONNX permitem misturar componentes de fontes abertas e fechadas.

Em última estudo, o que importa é escolher a utensílio certa – de código cândido ou fechado – para o trabalho em questão. As entidades comerciais que apoiam os LLMs de código fechado têm uma influência inegável. Mas a paixão e os princípios das comunidades científicas abertas continuarão a desempenhar um papel crucial na transporte do progresso da IA.