Juliano LaNeve é o Diretor Técnico (CTO) da Astronomer, a força motriz por trás do Apache Airflow e da moderna orquestração de dados para potencializar tudo, desde IA até análises gerais.
Julian trabalha uma vez que resultado e engenharia na Astronomer, onde se concentra na experiência do desenvolvedor, observabilidade de dados e IA. Ele também é o responsável do Cosmos, um provedor de Airflow para realização de projetos dbt Core uma vez que Airflow DAGs.
Ele é enamorado por dados e código desobstruído e passa seu tempo livre fazendo hackathons, criando protótipos de novos projetos e explorando o que há de mais recente em dados.
Você poderia compartilhar sua história pessoal de uma vez que se envolveu com engenharia de software e se tornou CTO da Astronomer?
Eu tenho programado desde o ensino médio. Para mim, a engenharia sempre foi uma grande saída criativa: posso ter uma teoria e usar qualquer tecnologia necessária para edificar uma visão. Depois de passar qualquer tempo na engenharia, porém, eu queria fazer mais. Eu queria entender uma vez que os negócios são administrados, uma vez que os produtos são vendidos e uma vez que as equipes são formadas – e queria aprender rapidamente.
Passei alguns anos trabalhando em consultoria de gestão no BCG, onde trabalhei em diversos projetos em diferentes setores. Aprendi muito, mas acabei sentindo falta de edificar produtos e trabalhar em direção a uma visão de longo prazo. Decidi ingressar na equipe de gerenciamento de produtos da Astronomer, onde ainda poderia trabalhar com clientes e edificar estratégias (coisas que gostei da consultoria), mas também poderia colocar a mão na volume na construção do resultado real e no trabalho com tecnologia.
Por um tempo, atuei uma vez que PM/engenheiro híbrido – trabalhava com os clientes para entender os desafios que eles enfrentavam e projetar produtos e recursos uma vez que PM. Portanto, eu pegaria os requisitos do resultado e trabalharia com a equipe de engenharia para realmente desenvolver o resultado ou recurso. Com o tempo, fiz isso com um conjunto maior de produtos na Astronomer, o que acabou me levando à função de CTO em que estou agora.
Para usuários que não estão familiarizados com o Airflow, você pode explicar o que o torna a plataforma ideal para gerar, agendar e monitorar fluxos de trabalho de maneira programática?
Apache Airflow é uma plataforma de código desobstruído para desenvolvimento, agendamento e monitoramento de fluxos de trabalho orientados a lote. O Airflow fornece recursos de gerenciamento de fluxo de trabalho que são essenciais para plataformas de dados modernas nativas da nuvem. Ele automatiza a realização de trabalhos, coordena dependências entre tarefas e oferece às organizações um ponto meão de controle para monitorar e gerenciar fluxos de trabalho.
Os arquitetos de plataformas de dados aproveitam o Airflow para automatizar a movimentação e o processamento de dados por meio de diversos sistemas, gerenciando fluxos de dados complexos e fornecendo agendamento, monitoramento e alertas flexíveis. Todos esses recursos são extremamente úteis para equipes de dados modernas, mas o que torna o Airflow a plataforma ideal é que ele é um projeto de código desobstruído –– o que significa que há uma comunidade de usuários e colaboradores do Airflow que estão incessantemente trabalhando para desenvolver ainda mais a plataforma, resolver problemas e compartilhar melhores práticas.
O Airflow também tem muitas integrações de dados com bancos de dados, aplicativos e ferramentas populares, muito uma vez que dezenas de serviços em nuvem – e mais são adicionados todos os meses.
Uma vez que o Astronomer usa o Airflow para processos internos?
Usamos muito o Airflow! Naturalmente, temos nossa própria equipe de dados que usa o Airflow para fornecer dados à empresa e aos nossos clientes. Eles têm algumas ferramentas bastante sofisticadas que construíram em torno do Airflow e que usamos uma vez que inspiração para o desenvolvimento de recursos na plataforma mais ampla.
Também usamos o Airflow para alguns casos de uso pouco tradicionais, mas ele funciona muito muito. Por exemplo, nossa equipe CRE usa o Airflow para monitorar centenas de clusters Kubernetes e milhares de implantações do Airflow que executamos em nome de nossos clientes. Seus pipelines são executados incessantemente para verificar problemas e, se detectarmos qualquer, abriremos tickets de suporte proativos em nome de nossos clientes.
Eu até usei o Airflow para casos de uso pessoal. Meu predilecto (até agora) foi quando me mudei para Novidade York. Se você já morou cá, sabe que o mercado de aluguel é uma loucura. Os apartamentos são alugados poucas horas depois de serem listados. Meus colegas de quarto e eu tínhamos uma lista de critérios com os quais todos concordamos (localização, número de quartos, banheiros, etc.), e eu construí um Airflow DAG que funcionava a cada poucos minutos, extraí novas listagens de vários sites de listagem de apartamentos e me mandou uma mensagem ( obrigado Twilio!) sempre que havia um tanto novo que atendia aos nossos critérios. O apartamento em que moro agora foi encontrado graças ao Airflow!
Astrônomo projetou o Planeta, uma plataforma moderna de orquestração de dados, desenvolvida pela Airflow. Você pode compartilhar conosco uma vez que essa instrumento permite que as empresas coloquem facilmente o Airflow no meio de suas operações de dados?
O Planeta permite que organizações e, mais especificamente, engenheiros de dados, cientistas de dados e analistas de dados, construam, executem e aumentem seus pipelines de dados de missão sátira em uma única plataforma para todos os seus fluxos de dados. É o único serviço gerenciado do Airflow que oferece altos níveis de segurança e proteção de dados e ajuda as empresas a dimensionar suas implantações e liberar recursos para se concentrarem em seus objetivos de negócios abrangentes.
Um de nossos clientes, Anastasia, uma empresa de tecnologia de ponta, escolheu o Planeta para gerenciar o Airflow porque não tinha tempo ou recursos suficientes para manter o Airflow por conta própria. O Planeta trabalha no back-end para que as equipes possam se concentrar nas atividades principais do negócio, em vez de gastar tempo em atividades indiferenciadas, uma vez que o gerenciamento do Airflow.
Um dos principais componentes do Planeta é a escalabilidade elástica. Você poderia definir o que é e por que é importante para ambientes de computação em nuvem?
Para nós, isso significa somente nossa capacidade de atender às demandas de computação de nossos clientes sem ter que executar uma grande quantidade de infraestrutura o tempo todo. Nossos clientes usam nossa plataforma para uma ampla variedade de casos de uso, a maioria dos quais com altos requisitos de computação (treinamento de modelos de aprendizagem de máquina, processamento de big data, etc.). Uma das principais propostas de valor do Astronomer é que, uma vez que cliente, você não precisa pensar nas máquinas que executam seus pipelines. Você implanta seus pipelines no Planeta e pode esperar que funcionem. Construímos um conjunto de recursos e sistemas que ajudam a dimensionar nossa infraestrutura para atender às demandas em metódico mudança de nossos clientes, e é um tanto que estamos entusiasmados em continuar desenvolvendo no horizonte.
Você foi responsável pela equipe do Astronomer na construção do Ask-Planeta, o chatbot com tecnologia LLM para Apache Airflow. Você pode compartilhar conosco detalhes sobre o que é o Ask-Planeta e os LLMs que o alimentam?
Nossa equipe no Astronomer conta com alguns dos membros mais experientes da comunidade Airflow e queríamos facilitar o compartilhamento de seus conhecimentos. Para fazer isso, criamos uma implementação de referência de Emerging Architectures for LLM Applications de Andreessen Horowitz, que mostra os sistemas, ferramentas e padrões de design mais comuns usados por startups de IA e empresas de tecnologia sofisticadas. Começamos com algumas opiniões informadas sobre esta implementação de referência e o Apache Airflow também desempenha um papel meão na arquitetura. Ask Planeta é uma referência da vida real que mostra uma vez que grudar todas as peças.
Ask Planeta é mais do que somente mais um chatbot. A equipe do Astrônomo optou por desenvolver o aplicativo de forma ocasião e postar regularmente sobre desafios, ideias e soluções, a término de desenvolver o conhecimento institucional em nome da comunidade. Quais foram alguns dos maiores desafios que a equipe enfrentou?
O maior duelo foi a falta de melhores práticas claras na comunidade. Uma vez que o “estado da arte” era redefinido a cada semana, era difícil entender uma vez que abordar determinados problemas (ingestão de documentos, seleção de modelos, mensuração de precisão de saída, etc.). Oriente foi um fator chave para construirmos o Ask Planeta claramente. Queríamos estabelecer um conjunto de práticas para orquestração de LLM que funcionassem muito para vários casos de uso, para que nossos clientes e comunidade pudessem se sentir muito preparados para adotar LLMs e tecnologias generativas de IA.
Provou ser uma ótima escolha –– a instrumento em si é muito utilizada, demos várias palestras públicas sobre uma vez que edificar aplicativos LLM e até começamos a trabalhar com um grupo seleto de clientes para lançar versões internas de Pergunte ao Planeta!
Qual é a sua visão pessoal para o horizonte do Airflow e do Astronomer?
Estou muito entusiasmado com o horizonte do Airflow e do Astronomer. A comunidade Airflow continua a crescer e na Astronomer estamos comprometidos em promover seu desenvolvimento, suporte e conexão entre equipes e indivíduos.
Com a crescente demanda por insights baseados em dados e um fluxo de fontes de dados, os engenheiros de dados têm um trabalho reptador. Queremos pacificar a fardo desses indivíduos e equipes, capacitando-os para integrar e gerenciar dados complexos em graduação. Hoje, isto também significa estribar a adoção e implementação da IA. Em 2023, tal uma vez que muitas outras empresas, concentrámo-nos em uma vez que podemos aligeirar a utilização da IA pelos nossos clientes. Nossa plataforma, Planeta, acelera a implantação de IA, agiliza o desenvolvimento de ML e fornece o poder de computação robusto necessário para aplicativos de próxima geração. A IA continuará a ser um foco para nós oriente ano e apoiaremos nossos clientes à medida que novas tecnologias e estruturas surgirem.
Ou por outra, o Astronomer é um ótimo lugar para trabalhar e desenvolver uma curso. À medida que o cenário de dados continua evoluindo, trabalhar cá fica cada vez mais emocionante. Estamos construindo uma grande equipe cá e temos muitos desafios técnicos para resolver. Também mudamos recentemente a nossa sede para a cidade de Novidade Iorque, onde poderemos tornar-nos uma segmento ainda maior da comunidade tecnológica que lá existe e estaremos mais muito equipados para atrair os melhores e mais qualificados talentos do setor. Se você estiver interessado em se juntar à equipe para nos ajudar a entregar os dados do mundo dentro do prazo, entre em contato!
Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar o Astronomer.
