Quem é Andrej Karpathy – OpenAI para Tesla e Back

A ascensão do GPT-4 está enraizada nos modelos anteriores de inteligência synthetic e o advento dos veículos autônomos não seria uma realidade hoje em dia se não fosse por esta pessoa que também trabalhou nos bastidores. Apaixonado por “treinando redes neurais profundas em grandes conjuntos de dados”, Andrej Karpatiaum cientista da computação eslovaco-canadense, trabalhou com OpenAI e Tesla para se juntar a eles em suas missões de IA.

Neste artigo, mergulharemos na história de como ele começou a percorrer o mundo da IA, desde a pesquisa teórica até a aplicação prática. Também veremos como ele se tornou parte dos principais gigantes da tecnologia, OpenAI e Tesla, que mudarão nosso mundo para sempre. Agora vamos conhecer Andrej Karpathy.

Um vislumbre da infância e da educação de Andrej

No dia 23 de novembro de 1986, na Eslováquia, nasceu Andrej, o homem que mais tarde ajudaria a moldar o mundo futuro. Ele foi criado e cresceu lá, onde desenvolveu seu fascínio pela ciência da computação. Quando completou quinze anos, sua família mudou-se para Toronto.

Andrej Karpathy frequentou três universidades:

• Universidade de Toronto (2005-2009): Andrej se formou duas vezes em ciência da computação e física. Ele também tinha especialização em matemática. Mais do que isso, ele assistiu às aulas de Geoffrey Hinton, o que despertou seu interesse pelo aprendizado profundo.

• Universidade da Colúmbia Britânica (2009-2011): Com seu professor Michiel van de Panne, ele trabalhou no aprendizado de controladores para figuras simuladas fisicamente. Foi aqui que ele obteve seu mestrado em ciências.

• Universidade de Stanford (2011-2015): Ele recebeu seu Ph.D. em Ciência da Computação com foco em aprendizado profundo, visão computacional e processamento de linguagem pure (PNL). Sob a orientação e supervisão de seu orientador, Fei-Fei Li, ele concluiu sua tese centrada no uso de redes neurais convolucionais (CNN) em visão computacional, PNL e sua interseção.

A estadia de Andrej na Universidade de Stanford não girou apenas em torno de seus estudos. Então, o que mais ele estava fazendo? Falaremos mais sobre isso à medida que avançamos sobre como ele iniciou sua carreira no campo da inteligência synthetic.

Antes do caso de Karpathy com OpenAI e Tesla

Antes mesmo de unir forças com OpenAI e Tesla, Andrej encontrou primeiro seu lugar na academia, depois nas divisões do Google. Aqui estão as coisas que ele fez antes de seus empreendimentos OpenAI-Tesla durante sua period Stanford e Google, e tudo mais.

Seu papel no Google Mind, Analysis e DeepMind

Andrej Karpathy conseguiu três estágios no Google enquanto ainda concluía seu doutorado em filosofia na Universidade de Stanford. Aqui está um breve cronograma do que ele fez como estagiário no Google:

• Cérebro Google (2011): O Google Mind period uma divisão de pesquisa de IA do Google e, na verdade, ainda period um “bebê”Na época em que Andrej trabalhava no Google Mind, como ele gosta de chamá-lo, já que estava em estágio inicial de desenvolvimento. Seu papel neste projeto centrou-se em aprendizagem não supervisionada em grande escala a partir de vídeos.

• Pesquisa Google (2013): Andrej voltou ao Google para trabalhar em grande escala aprendizagem supervisionada em vídeos do YouTube desta vez. Ah, e por falar em YouTube, ele tem um canal no YouTube onde fala sobre grandes modelos de linguagem, redes neurais, retropropagação e difusão estável.

• Mente Profunda (2015): Por fim, Andrej estagiou no Equipe de aprendizado por reforço profundo na DeepMind, uma subsidiária do Google. Por volta do mesmo ano, ele já obteve seu doutorado.

Além de estar associado ao Google como estagiário durante sua estada na universidade, ele também fez algumas pesquisas. A seguir estão suas contribuições para o campo da IA ​​enquanto ainda estava na academia.

Seu trabalho e pesquisa em IA na academia

O trabalho e a pesquisa de Andrej na CNN com Fei-Fei Li tiveram um impacto enorme na ajuda aos computadores “ver”O mundo e entendê-lo da mesma maneira, ou mais do que nós. Brand após concluir seus estudos, ele compartilhou o que sabe sobre IA junto com seus conceitos complexos de forma simplificada. Na verdade, ele torna o conhecimento acessível à comunidade em geral por meio de seus blogs postados no GitHub e no Medium.

Abaixo estão algumas de suas contribuições acadêmicas para o campo da inteligência synthetic:

• Primeira aula de aprendizado profundo de Stanford: Em 2015, Andrej tornou-se o instrutor primário do primeiro curso de aprendizagem profunda oferecido pela Universidade de Stanford, intitulado Redes Neurais Convolucionais para Reconhecimento Visible. Acabou se tornando uma das turmas de crescimento mais rápido em Stanford; de 150 inscritos em 2015, expandiu para 330 em 2016, e até cresceu para 750 em 2017.

• Legendagem de imagens: Sua pesquisa intitulada Alinhamentos visuais-semânticos profundos para geração de descrições de imagens que ele conduziu com Fei-Fei Li em 2014 preencheu a lacuna entre a PNL e a visão computacional. Ao ensinar modelos de IA a gerar textos descritivos para imagens e suas regiões usando linguagem pure, os sistemas de IA podem compreender e relacionar melhor os textos com objetos visuais.

Andrej Karpathy não é apenas um especialista em IA, mas também um verdadeiro educador. E mesmo que ele não esteja mais na academia, o legado que deixou continua vivo.

Suas publicações e projetos de estimação

Além de lecionar em aulas e por meio de tutoriais on-line, ele é autor e publicou artigos com foco em IA que contribuíram ainda mais para o crescente campo da IA, informando e orientando colegas pesquisadores. Aqui estão algumas de suas publicações:

• World of Bits: uma plataforma de domínio aberto para agentes baseados na Internet (2017)
• Conectando imagens e linguagem pure (2016)
• Desafio de reconhecimento visible em grande escala da ImageNet (2015)
• Descoberta de objetos em cenas 3D por meio de análise de formas (2013)
• Emergência de recursos seletivos de objetos no aprendizado não supervisionado de recursos (2012)

Eu também compartilharia alguns de seus projetos favoritos e para que servem. Ele ainda tem outros projetos legais e interessantes, mas são muitos, então abaixo estão apenas alguns deles:

• Sanidade Arxiv – tornar os documentos mais pesquisáveis ​​e classificáveis
• Neuraltalk2 – um projeto de legendagem de imagens
• Artigos bonitos aceitos – fazer páginas e formulários parecerem mais bonitos e funcionais
• Lei de Pesquisa – um sistema de gerenciamento e descoberta de trabalhos acadêmicos
• Ulogmé – uma ferramenta de produtividade que prioriza a privacidade, rastreando janelas ativas, notas, and many others.

Dada a sua formação, é evidente que Andrej Karpathy é a verdadeira combinação de um pastime e um profissional no espaço de IA. Agora, na próxima parte, entraremos nos próximos grandes capítulos de sua carreira.

A primeira jornada de Andrej Karpathy com OpenAI

Period 2015. Antes do ultimate do ano, uma organização inovadora de pesquisa em IA criada para mudar o curso da tecnologia para sempre foi fundada por um grupo de pioneiros visionários em IA. Andrej Karpathy foi um deles. E a partir daí, ele trabalhou ao lado da equipe como um de seus cientistas pesquisadores fundadores.

Andrej começou a trabalhar aprendizagem profunda, visão computacional, modelagem generativae aprendizagem por reforço. Essa experiência aprofundou ainda mais suas perspectivas sobre aprendizado de máquina, aprendizado profundo e outras facetas da IA. Também lhe deu exposição e experiência em primeira mão com os estágios iniciais do transformadores pré-treinados generativos (GPT)que agora evoluíram para o que conhecemos como GPT-4.

Além de sua função principal, também ajudou no recrutamento e na estruturação da empresa em seus primeiros tempos. Mais tarde, ele treinou um computador para controlar e usar teclado e mouse como nós. Andrej ensinou o computador a realizar diversas tarefas, como preencher formulário, escrever e muito mais.

No período de 18 meses em que esteve na OpenAI, ele se tornou um contribuidor chave para seu sucesso inicial. Mas por que ele ingressou na OpenAI em primeiro lugar? Foi sua abertura para coisas novas que o levou ao OpenAI. Como sabemos, a OpenAI é uma das primeiras empresas de tecnologia a promover a IA. Andrej queria fazer parte disso e abraçar a inovação que isso traria ao mundo.

Trocando OpenAI pela Tesla

Deixar a OpenAI não foi ideia pessoal dele. Um dos cofundadores da OpenAI, Elon Musk, roubou Andrej, o que resultou na sua saída em 2017. Com seu talento indispensável para aprendizado profundo, especialmente em reconhecimento e compreensão de imagens, Elon acreditava que ele seria uma boa adição e um trunfo para Tesla.

Ao ingressar na Tesla em 2017, foi nomeado Diretor Sênior de IAliderando o Equipe de visão do piloto automático que constrói o chamado “carros autônomos”. Essa função colocou maior ênfase na transição de sua ousada carreira da pesquisa teórica para a aplicação prática, enquanto ele trabalhava por trás da rotulagem interna de dados, do treinamento em redes neurais e da implantação de algoritmos que alimentam o piloto automático e Condução totalmente autônoma (FSD) habilidade.

Sob a liderança de Andrej, a equipe reforçou a segurança e a confiabilidade dos veículos autônomos da Tesla aplicando visão computacional. Mais do que isso, ele promoveu o desenvolvimento de IA centrada em dados com foco na qualidade dos dados de treinamento para garantir que os modelos sejam capazes de perceber e compreender com precisão o mundo actual, detectar objetos físicos, ajustar-se adequadamente ao ambiente e alcançar o desempenho supreme. .

O papel de Karpathy realmente fez a diferença no progresso de Tesla. Em 2020, ele foi listado entre os Inovadores com menos de 35 anos pela Revisão de Tecnologia do MIT. E enquanto ainda trabalhava com Elon Musk, ele ajudou a desenvolver os robôs humanóides de Tesla chamados “Optimus”, que pode andar, pegar ou segurar objetos e muito mais.

Por volta de meados de 2021, Andrej tirou licença sabática da Tesla. Enquanto estava fora, ele passou seu tempo criando conteúdo educacional sobre IA, que postou em seu canal no YouTube e em blogs. Após o período sabático, ele anunciou que deixaria a empresa em julho de 2022, e foi quando sua carreira na Tesla terminou.

Reunindo-se com OpenAI

Andrej ficou tão inspirado pelo impacto dos recentes avanços da OpenAI que decidiu voltar para a empresa e compartilhar a notícia no seu Twitter em 9 de fevereiro de 2023. Numa nota mais pessoal, também foi relatado que a missão da OpenAI se alinha bem com o seu foco em código aberto e educaçãoo que também serviu como mais um motivo para ele encontrar o caminho de volta à empresa.

Após seu retorno, Andrej continuou trabalhando na melhoria dos modelos existentes usados ​​para ChatGPT, o produto de IA mais fashionable da OpenAI atualmente, lançado apenas alguns meses antes (novembro de 2022) antes de seu retorno. Então, sem mais delongas, todos voltaram aos negócios e suas colaborações harmoniosas continuaram. Ele também ganhou o Prêmio Inovadores WTF em junho de 2023, durante sua segunda vez na OpenAI.

Supostamente saindo do OpenAI mais uma vez

Tudo estava indo bem entre Andrej Karpathy e OpenAI desde que a empresa o recebeu de volta. E não, nada aconteceu a seguir, exceto na véspera do Dia dos Namorados (em 13 de fevereiro de 2024), Andrej rompeu com a OpenAI (de novo). Então, novamente, não houve rixa – aqui está o chá:

Em seu tweet, Andrej Karpathy anunciou que saiu não por algum problema ou drama, mas simplesmente porque foi sua escolha pessoal. Ele até mencionou que seu último ano na OpenAI foi maravilhoso e que valeu a pena. Então, qual é o plano dele depois disso? Seu plano é focar e trabalhar em seus projetos pessoais até que algo aconteça.

Para onde ele realmente quer ir? Bem, deve ser onde quer que seus projetos pessoais o levassem. E sem dúvida, ele continuaria a alcançar lugares distantes, mesmo que provavelmente entrasse no modo solo agora.

Então, onde ele está agora?

Geograficamente, ele está atualmente em São Francisco (ao verificar seu LinkedIn), o mesmo lugar no mundo onde fica sua última empresa, OpenAI. Mas mesmo que ele não trabalhe mais para eles, uma coisa é certa: ele nunca perdeu seu lugar na indústria de IA.

Como ele mencionou, ele vai trabalhar em seus projetos pessoais, então provavelmente ele está sentado em seu quarto ou escritório em casa agora, concentrando-se em seu novo empreendimento. Enquanto ele está nisso, o que podemos esperar é que haja algo pelo qual ansiar. Por que? É simplesmente porque Andrej Karpathy não vai vacilar, pois um especialista em IA como ele continuará inovando – com uma empresa ou sozinho.