Uma nova pesquisa dos EUA indica que o ajuste fino de um modelo de base de IA com base em seus próprios dados não precisa reduzir ou prejudicar a funcionalidade do modelo authentic – e que uma correção relativamente simples pode não apenas restaurar as capacidades do modelo authentic, mas também na verdade melhorar a qualidade da saída que você está tentando fazer com que o modelo (já treinado) produza.
Ganhos de desempenho em diversos modelos com a nova calibração pós-treinamento dos autores. Mais detalhes posteriormente neste artigo. Fonte: http://export.arxiv.org/pdf/2409.16223
As implicações disto são significativas, não só para os gigantes da tecnologia cujas atenções estão a convergir para as recompensas financeiras do aluguer de sistemas generativos “como serviço”, mas também para o número crescente de hobbyistas “cortadores de cabos” que descarregam e personalizam modelos de código aberto, para que possam acessar sistemas personalizados de gravação de IA e geração de imagens/vídeos de maneira mais barata – e com menos restrições.
Os autores do artigo não têm medo de mostrar o seu entusiasmo pelo potencial do seu método, que traz avanços aparentemente significativos em relação à submissão de 2023 Transferência holística: rumo a um ajuste fino sem interrupções com dados de destino parciais (em coautoria com muitos dos colaboradores do novo artigo).
Eles afirmam:
'As (descobertas) são encorajadoras e têm implicações profundas! Eles implicam que uma simples calibração de pós-processamento pode potencialmente resolver a precisão inferior do modelo ajustado nas courses ausentes, trazendo de volta a capacidade do modelo pré-treinado e, ao mesmo tempo, revelando a qualidade aprimorada do recurso em todas as courses.
Daremos uma olhada no novo trabalho em breve. Primeiro, vamos ver qual problema ele pretende resolver.
Por que é importante
A primeira onda de ajuste fino generalizado ocorreu após o lançamento do modelo de texto para imagem de difusão estável do Stability.ai em agosto de 2002. Os primeiros modelos, treinados em um subconjunto do conjunto de dados de hiperescala LAION, foram disponibilizados para qualquer pessoa para baixar.
No entanto, os usuários que desejam inserir específico conteúdo (como suas próprias identidades, estilos de arte ou a representação de celebridades) nas extraordinárias qualidades generativas da Difusão Estável foram obrigados a recorrer a técnicas como o DreamBooth – uma extrapolação de um método de personalização da Google Analysis, que permitiu ao usuário treinar novos dados no modelo disponível gratuitamente, por meio de ajuste fino.
Exemplos do processo do usuário para a implementação oficial do DreamBooth do Google de 2022. O usuário seleciona uma pequena seleção de imagens e escolhe um nome exclusivo (aquele que o Steady Diffusion não possui em seus dados de treinamento) em prompts de texto do modelo ajustado. Fonte: https://dreambooth.github.io/
Desta forma, foi possível obter uma cópia do modelo que period muito bom na criação de uma determinada pessoa, ou de um estilo de arte personalizado, mas que period agora 'comprometido' para uso mais geral.
Isso significava que se você quisesse ajustar a Difusão Estável para que pudesse representar com precisão três pessoas diferentes, você inevitavelmente teria que criar três modelos diferentescada um com cerca de 2 a 4 GB ou mais.
Qualquer tentativa de ajustar esses modelos um segundo o tempo não só degradaria ainda mais o desempenho geral do modelo, mas também afetaria negativamente o resultado da sessão de ajuste fino anterior.
De qualquer forma, modelos famosos do DreamBooth brand proliferariam na Web, reunindo-se principalmente no domínio civit.ai. Eventualmente, métodos menos onerosos, como a adaptação de baixo nível (LoRA), ultrapassaram o ajuste fino em popularidade (embora permaneça controverso se a saída LoRA é tão eficaz quanto um ajuste fino completo, e desde então a NVIDIA abriu o código-fonte de uma abordagem aparentemente mais eficaz chamada DoRA).
Um LoRA se enquadra na categoria de ajuste fino com eficiência de parâmetros (PEFT), que influencia apenas um subconjunto dos parâmetros treinados do modelo.
Alguns usuários queriam mudar a natureza basic dos pontos de verificação de difusão estável de código aberto, ajustando-os em milhares de imagens.
Isso, efetivamente, produziu um modelo básico alternativo, dedicado a qualquer domínio que o usuário estava tentando treinar (como um estilo de arte específico). Para este efeito, métodos “leves”, como o LoRA, seriam provavelmente menos eficazes, uma vez que os pesos do modelo necessitavam de uma forte preconceito em relação aos novos dados de treinamento.
Bate-papo native
Com o recente aumento de interesse em Giant Language Fashions (LLMs), os usuários que desejam evitar as saídas crescentes (e os custos associados) de serviços orientados por API, como o ChatGPT, começaram cada vez mais a baixar e ajustar modelos eficazes de código aberto, como o Llama. 3, entre muitos outros.
Também aqui, os LoRAs podem ser usados em vez de ajustar um ponto de verificação completo. Já afirmamos anteriormente que o ajuste fino é um método superior para produzir LLMs adaptados às necessidades específicas do usuário. Embora o ajuste fino possa exigir maiores requisitos de {hardware} e levar mais tempo, ele oferece uma generalização mais profunda dos novos dados que o usuário deseja que o modelo assimile.
O problema com o ajuste fino é que ele é um processo destrutivo que não pode ser treinado de forma incremental em dados adicionais posteriormente, como observamos acima.
Os recursos e tendências injetados no modelo aparentemente perturbam o equilíbrio authentic de pesos no conjunto de dados, o que significa que é excessivamente provável que o modelo reflita os dados contribuídos pelo usuário ou, pelo menos, terá um desempenho geral pior do que o modelo básico authentic (em tarefas que não estão relacionadas aos novos dados).
Pode-se remediar isso, até certo ponto, congelando certas partes do modelo durante o treinamento; mas isso pode levar à redução da funcionalidade geral, uma vez que a parte congelada da arquitetura pode não generalizar bem para os dados recém-ajustados dentro do espaço latente do modelo.
Seria, portanto, realmente ótimo se houvesse alguma maneira mais fácil de preservar as capacidades originais de um modelo ajustado, mantendo ao mesmo tempo a capacidade do modelo de produzir resultados com base nos dados de ajuste fino.
Tal desenvolvimento seria benéfico para toda a gama de potenciais utilizadores, desde amadores e pioneiros que utilizam LLM locais e outros tipos de modelos generativos, até ao nível FAANG (onde um modelo de IA muito dispendioso poderia ser melhorado de forma iterativa e não destrutiva, sem a despesa multimilionária de recomeçar o treinamento com os dados adicionais).
Calibração Pós-Processamento
Isso nos traz de volta ao novo artigo, chamado O ajuste fino está bom, se calibradoe vem de 11 pesquisadores da Ohio State College, da College of Wisconsin Madison e do Rensselar Polytechnic Institute.
Os pesquisadores estavam tentando descobrir exatamente o que é danificado em um modelo de fundação quando ele é ajustado. Concluíram que a única grande diferença entre o modelo “antes e depois” é que as escalas logit nas courses de ajuste fino e as courses originais no modelo apresentam uma grande discrepância.
Os hyperlinks Logit prevêem a probabilidade de sucesso em um processo de regressão lógica, convertendo os valores estimados (que podem ser muito precisos) em zero ou um.
Os autores não só descobriram que este défice é quase casualmente reversível por uma técnica de calibração, mas que este pós facto repair na verdade melhora a qualidade da saída dos dados de ajuste fino. Portanto, com essa técnica, você não apenas obtém os recursos originais do modelo básico, mas também uma melhor integração de seus próprios dados ajustados.
(Embora o artigo não look at o potencial, esta técnica implica que um modelo pode ser ajustado várias vezes e permanecer eficaz)
Discutindo suas descobertas na investigação de danos ao modelo após o ajuste fino, os autores afirmam:
'Para nossa surpresa, descobrimos que o modelo ajustado não esquece o relacionamento entre as outras courses nem degrada os recursos para reconhecer essas courses.
'Em vez disso, o modelo ajustado muitas vezes produz características mais discriminativas para essas outras courses, mesmo que elas estivessem faltando durante o ajuste fino!
'(O que) realmente prejudica a precisão são as escalas logit discrepantes entre as courses de ajuste fino e as outras (courses), implicando que uma simples calibração de pós-processamento traria de volta a capacidade do modelo pré-treinado e ao mesmo tempo revelaria o melhoria de recursos em todas as courses.'
Os autores tornaram os resultados de seus testes para esta teoria reproduzíveis em um repositório GitHub.
Eles descobriram que, após investigação, a única parte da arquitetura do modelo básico que é danificada no ajuste fino é o classificador binário, que classifica incorretamente as courses que são ausente no modelo authentic como courses de ajuste fino.
O artigo afirma*:
'(Ao) adicionar um fator de viés de calibração aos logits de todas as courses ausentes (4, 40), o modelo ajustado pode recuperar com sucesso a precisão da classe ausente e obter uma melhoria geral decente no downstream (domínio).
'O desempenho resultante supera até mesmo a forte linha de base (Transferência Holística – o papel no qual este artigo se baseia) em muitos dos benchmarks, incluindo ImageNet e suas variantes (ImageNet, ImageNet-R (endition), ImageNet-S (ketch) ), Escritório-Casa e VTAB, sem treinamento complicado e configuração de hiperparâmetros.'
Resultados do artigo: um modelo ajustado que teve calibração pós-processamento realizada pode, afirmam os autores, superar a abordagem de última geração para o problema.
Os autores classificam o melhor desempenho de um modelo pós-calibrado e ajustado como 'comportamentos benignos inesperados' e observam que quando um otimizador básico de gradiente descendente estocástico (SGD) é usado, um resultado melhor é obtido do que com otimizadores atuais mais populares, como Adão.
'Ainda,' eles notam 'com taxas de aprendizagem e redução de peso suficientemente pequenas, os comportamentos benignos aparecem e mantêm-se.'
Pequenos reparos
Para reparar as discrepâncias logit resultantes do ajuste fino, os autores pegaram emprestada uma técnica de aprendizagem zero-shot, adicionando um fator constante aos logits de todas as courses ausentes. Isso resulta em uma nova regra de classificação.
Os autores observam que este processo 'promove' as courses ausentes negligenciadas à mesma qualidade de previsão das courses ajustadas, restaurando o desempenho authentic e melhorando o desempenho dos dados 'adicionados' no momento da inferência.
Nos testes, a técnica de pós-calibração restaurou o desempenho de uma diversidade de modelos ajustados. O 'Oracle' indicado na tabela refere-se a um classificador ajustado que também leva em consideração dados de classe ausentes.
Eles observam ainda que a calibração pós-processamento é “potencialmente aplicável a qualquer modelo”, e que os métodos que procuram manter a integridade do modelo de base através do congelamento de camadas (como o classificador e o spine) pontuam mal em comparação com a sua própria abordagem proposta .
Conclusão
As conclusões desta colaboração parecem significativas. Treinar um modelo de IA em um conjunto de dados em hiperescala é um compromisso enorme, análogo à decolagem de um jato de passageiros. Embora o treinamento possa ser interrompido e qualquer dano mitigado salvando periodicamente os pesos atuais (com um custo de armazenamento considerável), para permitir interrupções no treinamento, há relativamente pouco que se possa fazer para alterar o resultado após o lançamento.
O que é impressionante neste trabalho é que os investigadores parecem ter descoberto um princípio basic no treino geral de modelos de IA, e que a sua solução é surpreendentemente elegante.
As implicações económicas de ser capaz de manter a precisão do modelo de fundação após o ajuste fino também são significativas. Até à information, o método mais comum para resolver as deficiências dos modelos multimilionários tem sido filtrar os resultados no momento da inferência ou controlar a inferência, a fim de evitar qualquer calcanhar de Aquiles evidente no modelo.
Além disso, tal técnica poderia, teoricamente, trazer melhorias significativas às capacidades de modelos generativos afinados ao nível do consumidor, com a vantagem de um aumento na qualidade da produção.
* Minha conversão das citações inline dos autores em hiperlinks.
Publicado pela primeira vez em terça-feira, 1º de outubro de 2024
