Segundo a UNESCO, até metade das línguas podem estar extintas até 2100. Muitas pessoas dizem que a IA generativa está contribuindo para esse processo.
O declínio da diversidade linguística não começou com a IA — ou com a Web. Mas a IA é em posição de acelerar o desaparecimento de línguas indígenas e de poucos recursos.
A maioria das mais de 7.000 línguas do mundo não tem recursos suficientes para treinar modelos de IA — e muitas não têm uma forma escrita. Isso significa que algumas das principais línguas dominam o estoque de dados potenciais de treinamento de IA da humanidade, enquanto a maioria pode ficar para trás na revolução da IA — e pode desaparecer completamente.
A razão simples é que a maioria dos dados de treinamento de IA disponíveis está em inglês. O inglês é o principal impulsionador de modelos de linguagem grandes (LLMs), e pessoas que falam línguas menos comuns estão se encontrando sub-representadas na tecnologia de IA.
Considere estas estatísticas do Fórum Econômico Mundial:
- Dois terços de todos os websites estão em inglês.
- Muitos dos dados que o GenAI aprende são extraídos da net.
- Menos de 20% da população mundial fala inglês.
À medida que a IA se torna mais incorporada em nossas vidas diárias, todos nós deveríamos estar pensando sobre a equidade linguística. A IA tem um potencial sem precedentes para resolver problemas em escala, e sua promessa não deve se limitar ao mundo de língua inglesa. A IA está criando conveniências e ferramentas que melhoram a vida pessoal e profissional das pessoas em nações ricas e desenvolvidas.
Falantes de línguas de poucos recursos estão acostumados a encontrar uma escassez de representação na tecnologia — desde não encontrar websites em sua língua até não ter seu dialeto reconhecido pela Siri. Muito do texto que é disponível para treinar IA em idiomas com poucos recursos é de baixa qualidade (traduzido com precisão questionável) e de escopo limitado.
Como a sociedade pode garantir que línguas com menos recursos não fiquem de fora da equação da IA? Como podemos garantir que a linguagem não seja uma barreira para a promessa da IA?
Em um esforço para inclusão de idiomas, alguns grandes gamers de tecnologia têm iniciativas para treinar enormes modelos de idiomas multilíngues (MLMs). O Microsoft Translate, por exemplo, prometeu dar suporte a “todos os idiomas, em todos os lugares”. E o Meta tem uma promessa de “Nenhuma Língua Deixada para Trás”. Elas são louváveis, mas são realistas?
Aspirar a um modelo que lida com todas as línguas do mundo favorece os privilegiados porque há volumes muito maiores de dados das principais línguas do mundo. Quando começamos a lidar com línguas de recursos mais baixos e línguas com scripts não latinos, treinar modelos de IA se torna mais árduo, demorado — e mais caro. Pense nisso como um imposto não intencional sobre línguas sub-representadas.
Avanços na tecnologia da fala
Os modelos de IA são amplamente treinados em texto, o que naturalmente favorece idiomas com armazenamentos mais profundos de conteúdo de texto. A diversidade de idiomas seria melhor suportada com sistemas que não dependem de texto. A interação humana em um momento period toda baseada na fala, e muitas culturas mantêm esse foco oral. Para atender melhor a um público world, a indústria de IA deve progredir de dados de texto para dados de fala.
A pesquisa está fazendo grandes avanços na tecnologia de fala, mas ainda está atrás das tecnologias baseadas em texto. A pesquisa em processamento de fala está progredindo, mas a tecnologia de fala direta para fala está longe de ser madura. A realidade é que a indústria tende a se mover com cautela, e apenas quando uma tecnologia avança para um certo nível.
A plataforma de interpretação GlobalLink Stay recém-lançada da TransPerfect usa as formas mais maduras de tecnologia de fala — reconhecimento automático de fala (ASR) e conversão de texto em fala (TTS) — novamente, porque os sistemas diretos de conversão de fala em fala não estão maduros o suficiente neste momento. Dito isso, nossas equipes de pesquisa estão se preparando para o dia em que os pipelines completos de conversão de fala em fala estarão prontos para o horário nobre.
Os modelos de tradução de fala para fala oferecem uma grande promessa na preservação de línguas orais. Em 2022, a Meta anunciou o primeiro sistema de tradução de fala para fala com tecnologia de IA para o Hokkien, uma língua principalmente oral falada por cerca de 46 milhões de pessoas na diáspora chinesa. Faz parte do projeto Common Speech Translator da Meta, que está desenvolvendo novos modelos de IA que espera que permitam a tradução de fala para fala em tempo actual em muitos idiomas. A Meta optou por tornar públicos seus modelos de tradução de Hokkien, conjuntos de dados de avaliação e artigos de pesquisa para que outros possam reproduzir e desenvolver seu trabalho.
Aprendendo com menos
O fato de que nós, como uma comunidade world, não temos recursos em torno de certos idiomas não é uma sentença de morte para esses idiomas. É aqui que os modelos multilíngues têm uma vantagem, pois os idiomas aprendem uns com os outros. Todos os idiomas seguem padrões. Devido à transferência de conhecimento entre idiomas, a necessidade de dados de treinamento é reduzida.
Suponha que você tenha um modelo que está aprendendo 90 idiomas e você quer adicionar Inuit (um grupo de línguas indígenas norte-americanas). Por causa da transferência de conhecimento, você precisará de menos dados Inuit. Estamos encontrando maneiras de aprender com menos. A quantidade de dados necessária para ajustar os mecanismos é menor.
Estou esperançoso sobre um futuro com IA mais inclusiva. Não acredito que estamos condenados a ver hordas de línguas desaparecerem — nem acho que a IA permanecerá como domínio do mundo de língua inglesa. Já estamos vendo mais conscientização em torno da questão da equidade linguística. Da coleta de dados mais diversificada à construção de modelos mais específicos para cada idioma, estamos progredindo.
Considere Fon, uma língua falada por cerca de 4 milhões de pessoas no Benim e países africanos vizinhos. Não muito tempo atrás, um modelo common de IA descreveu Fon como uma língua fictícia. Um cientista da computação chamado Bonaventure Dosseau, cuja mãe fala Fon, estava acostumado a esse tipo de exclusão. Dosseau, que fala francês, cresceu sem nenhum programa de tradução para ajudá-lo a se comunicar com sua mãe. Hoje, ele pode se comunicar com sua mãe graças a um tradutor Fon-Francês que ele construiu meticulosamente. Hoje, também há uma Wikipédia Fon incipiente.
Em um esforço para usar a tecnologia para preservar línguas, o artista turco Refik Anadol deu início à criação de uma ferramenta de IA de código aberto para povos indígenas. Na Cúpula Econômica Mundial, ele perguntou: “Como na Terra podemos criar uma IA que não conhece toda a humanidade?”
Não podemos e não faremos.
