Desde que a OpenAI revelou o ChatGPT no remaining de 2022, o papel dos grandes modelos de linguagem (LLMs) fundamentais tornou-se cada vez mais proeminente na inteligência synthetic (IA), particularmente no processamento de linguagem pure (PNL). Esses LLMs, projetados para processar e gerar textos semelhantes aos humanos, aprendem com uma ampla variedade de textos da Web, desde livros até websites. Este processo de aprendizagem permite-lhes captar a essência da linguagem humana, tornando-os solucionadores de problemas de uso geral.
Embora o desenvolvimento de LLMs tenha aberto novas portas, o método de adaptação destes modelos para aplicações específicas – conhecido como ajuste fino – traz o seu próprio conjunto de desafios. O ajuste fino de um modelo requer treinamento adicional em conjuntos de dados mais focados, o que pode levar a dificuldades como a exigência de dados rotulados, o risco de desvio e ajuste excessivo do modelo e a necessidade de recursos significativos.
Para enfrentar esses desafios, os pesquisadores do Google adotaram recentemente a ideia de 'aprendizagem social' para ajudar a IA a aprender com a IA. A ideia principal é que, quando os LLMs são convertidos em chatbots, eles podem interagir e aprender uns com os outros de uma forma semelhante à aprendizagem social humana. Esta interação permite-lhes aprender uns com os outros, melhorando assim a sua eficácia.
O que é aprendizagem social?
A aprendizagem social não é uma ideia nova. É baseado em uma teoria da década de 1970 de Albert Bandura, que sugere que as pessoas aprendem observando os outros. Este conceito aplicado à IA significa que os sistemas de IA podem melhorar interagindo uns com os outros, aprendendo não apenas com experiências diretas, mas também com as ações dos pares. Este método promete uma aquisição mais rápida de competências e pode até permitir que os sistemas de IA desenvolvam a sua própria “cultura” através da partilha de conhecimento.
Ao contrário de outros métodos de aprendizagem de IA, como a aprendizagem por reforço por tentativa e erro ou a aprendizagem por imitação a partir de exemplos diretos, a aprendizagem social enfatiza a aprendizagem através da interação. Ele oferece uma maneira mais prática e comunitária para a IA adquirir novas habilidades.
Aprendizagem Social em LLMs
Um aspecto importante da aprendizagem social é trocar conhecimentos sem compartilhar informações originais e sensíveis. Para tanto, os pesquisadores empregaram uma dinâmica professor-aluno onde os modelos de professores facilitam o processo de aprendizagem dos modelos de alunos sem revelar quaisquer detalhes confidenciais. Para atingir este objectivo, os modelos de professores geram exemplos sintéticos ou orientações a partir dos quais os modelos de alunos podem aprender sem partilhar os dados reais. Por exemplo, considere um modelo de professor treinado na diferenciação entre mensagens de texto spam e não spam usando dados marcados pelos usuários. Se desejarmos que outro modelo domine esta tarefa sem tocar nos dados originais e privados, a aprendizagem social entra em jogo. O modelo do professor criaria exemplos sintéticos ou forneceria insights com base em seu conhecimento, permitindo que o modelo do aluno identificasse mensagens de spam com precisão, sem exposição direta aos dados confidenciais. Esta estratégia não só aumenta a eficiência da aprendizagem, mas também demonstra o potencial dos LLMs para aprenderem de forma dinâmica e adaptável, construindo potencialmente uma cultura de conhecimento colectivo. Uma característica important desta abordagem é a sua dependência de exemplos sintéticos e instruções elaboradas. Ao gerar exemplos novos e informativos, distintos do conjunto de dados authentic, os modelos de professores podem preservar a privacidade e, ao mesmo tempo, orientar os modelos dos alunos para uma aprendizagem eficaz. Esta abordagem tem sido eficaz, alcançando resultados semelhantes aos obtidos com os dados reais.
Como a aprendizagem social aborda os desafios do ajuste fino?
A aprendizagem social oferece uma nova maneira de refinar LLMs para tarefas específicas. Ajuda a lidar com os desafios do ajuste fino das seguintes maneiras:
- Menos necessidade de dados rotulados: Ao aprender com exemplos sintéticos partilhados entre modelos, a aprendizagem social reduz a dependência de dados rotulados difíceis de obter.
- Evitando a especialização excessiva: Ele mantém os modelos versáteis, expondo-os a uma gama mais ampla de exemplos do que aqueles em conjuntos de dados pequenos e específicos.
- Reduzindo o sobreajuste: A aprendizagem social amplia a experiência de aprendizagem, ajudando os modelos a generalizar melhor e evitar ajustes excessivos.
- Economizando recursos: Esta abordagem permite uma utilização mais eficiente dos recursos, à medida que os modelos aprendem com as experiências uns dos outros sem necessitar de acesso direto a grandes conjuntos de dados.
Direções futuras
O potencial para aprendizagem social em LLMs sugere várias formas interessantes e significativas para futuras pesquisas em IA:
- Culturas híbridas de IA: À medida que os LLMs participam na aprendizagem social, podem começar a formar metodologias comuns. Poderiam ser realizados estudos para investigar os efeitos destas “culturas emergentes” de IA, examinando a sua influência nas interações humanas e nas questões éticas envolvidas.
- Aprendizagem intermodal: Estender a aprendizagem social para além do texto para incluir imagens, sons e muito mais poderia levar a sistemas de IA com uma compreensão mais rica do mundo, tal como a forma como os humanos aprendem através de múltiplos sentidos.
- Aprendizagem Descentralizada: A ideia de modelos de IA aprenderem uns com os outros através de uma rede descentralizada apresenta uma nova forma de aumentar a partilha de conhecimento. Isto exigiria enfrentar desafios significativos em termos de coordenação, privacidade e segurança.
- Interação Humano-IA: Há potencial para explorar como os humanos e a IA podem beneficiar-se mutuamente da aprendizagem social, especialmente em ambientes educacionais e colaborativos. Isto poderia redefinir a forma como ocorrem a transferência de conhecimento e a inovação.
- Desenvolvimento Ético de IA: Ensinar a IA a resolver dilemas éticos através da aprendizagem social pode ser um passo em direção a uma IA mais responsável. O foco seria no desenvolvimento de sistemas de IA que possam raciocinar de forma ética e alinhados com os valores sociais.
- Sistemas de autoaperfeiçoamento: Um ecossistema onde os modelos de IA aprendem e melhoram continuamente com as experiências uns dos outros poderia acelerar a inovação em IA. Isto sugere um futuro onde a IA poderá adaptar-se a novos desafios de forma mais autónoma.
- Privacidade na aprendizagem: Com os modelos de IA compartilhando conhecimento, é essential garantir a privacidade dos dados subjacentes. Os esforços futuros poderão aprofundar-se em métodos mais sofisticados para permitir a transferência de conhecimento sem comprometer a segurança dos dados.
O resultado remaining
Os pesquisadores do Google foram pioneiros em uma abordagem inovadora chamada aprendizagem social entre grandes modelos de linguagem (LLMs), inspirada na capacidade humana de aprender observando outras pessoas. Esta estrutura permite que os LLMs compartilhem conhecimento e melhorem capacidades sem acessar ou expor dados confidenciais. Ao gerar exemplos e instruções sintéticas, os LLMs podem aprender de forma eficaz, abordando os principais desafios no desenvolvimento de IA, tais como a necessidade de dados rotulados, especialização excessiva, ajuste excessivo e consumo de recursos. A aprendizagem social não só aumenta a eficiência e a adaptabilidade da IA, mas também abre possibilidades para a IA desenvolver “culturas” partilhadas, envolver-se na aprendizagem intermodal, participar em redes descentralizadas, interagir com os humanos de novas formas, navegar em dilemas éticos e garantir a privacidade. Isto marca uma mudança significativa em direção a sistemas de IA mais colaborativos, versáteis e éticos, prometendo redefinir o panorama da investigação e aplicação da inteligência synthetic.
