Ugur Tigli é Diretor Técnico da MinIO, líder em armazenamento de objetos de alto desempenho para IA. Como CTO, Ugur ajuda os clientes a arquitetar e implantar infraestrutura de dados de nível empresarial baseada em API, nativa da nuvem e escalável usando MinIO.
Você pode descrever sua jornada para se tornar o CTO do MinIO e como suas experiências moldaram sua abordagem para IA e infraestrutura de dados?
Comecei minha carreira em engenharia de infraestrutura na Merrill Lynch como administrador de backup e restauração. Continuei a assumir diversos desafios e diversas posições técnicas. Ingressei no Financial institution of America por meio da aquisição da Merrill Lynch, onde fui vice-presidente de Engenharia de Armazenamento. Ainda assim, minha função se expandiu para incluir engenharia de computação e information middle.
Como parte do meu trabalho, também trabalhei com várias empresas de capital de risco (VCs) e suas empresas de portfólio para trazer a melhor e mais recente tecnologia. Durante uma de minhas reuniões com a Normal Catalyst, fui apresentado à ideia e às pessoas por trás do MinIO. Isso me atraiu pela forma como eles abordaram a infraestrutura de dados – period diferente de todos os outros no mercado. A empresa percebeu a importância do armazenamento de objetos e das APIs padrão com as quais os aplicativos estavam começando. Durante esses anos, eles puderam prever o futuro da computação e IA antes de qualquer outra pessoa ou mesmo antes de ser chamado como é hoje. Eu queria fazer parte da execução dessa visão e da construção de algo verdadeiramente único. MinIO é agora o armazenamento de objetos mais amplamente implantado no planeta.
O impacto das minhas funções e experiências anteriores na forma como abordo as novas tecnologias, especificamente IA e infraestrutura de dados, também é simplesmente um acúmulo de muitos projetos nos quais estive envolvido durante meus anos de suporte a equipes de aplicativos em uma empresa de serviços financeiros altamente exigente.
Desde os dias de largura de banda de rede limitada, que levaram a tecnologia Hadoop a ser a tecnologia mais recente há 15 anos, até várias tecnologias de mídia de dados, desde unidades de disco rígido (HDD) até unidades de estado sólido (SSD), muitas dessas mudanças tecnológicas moldaram minha visão atual do IA ecossistema e infraestrutura de dados.
MinIO é reconhecido por seus recursos de armazenamento de objetos de alto desempenho. Como o MinIO atende especificamente às necessidades de IAempresas impulsionadas hoje?
Quando a AB e a Garima estavam conceituando o MinIO, sua primeira prioridade period pensar em uma definição de problema — eles sabiam que os dados continuariam a crescer e que as tecnologias de armazenamento existentes eram incompatíveis com esse crescimento. O rápido surgimento de IA tornou realidade suas visões prescientes do mercado. Desde então, o armazenamento de objetos tornou-se elementary para IA infraestrutura (todos os principais LLMs, como OpenAI e Anthropic, são todos construídos em armazenamentos de objetos), e o information middle moderno é construído sobre uma base de armazenamento de objetos.
A MinIO lançou recentemente uma nova plataforma de armazenamento de objetos com recursos críticos de nível empresarial para apoiar as organizações em seus IA iniciativas: o MinIO Enterprise Object Retailer. Ele foi projetado para os desafios de desempenho e escala introduzidos por enormes IA cargas de trabalho e permite que os clientes enfrentem os desafios associados a bilhões de objetos com mais facilidade, bem como centenas de milhares de operações criptográficas por nó, por segundo. Possui seis novos recursos comerciais que visam os principais desafios operacionais e técnicos enfrentados pelos IA cargas de trabalho: Catálogo (isso resolve o problema de namespace de armazenamento de objetos e pesquisa de metadados), Firewall (construído especificamente para os dados), Sistema de gerenciamento de chaves (resolve o problema de lidar com bilhões de chaves criptográficas), Cache (opera como um serviço de cache ), Observabilidade (permite que os administradores visualizem todos os componentes do sistema em cada instância) e, por último, o Enterprise Console (serve como um painel único para todas as instâncias do MinIO da organização).
Manuseio IA em escala está se tornando cada vez mais essential. Você poderia explicar por que isso acontece e como o MinIO facilita esses requisitos para as empresas modernas?
Quase tudo o que as organizações constroem agora baseia-se no armazenamento de objetos, o que só irá acelerar à medida que aqueles que executam a infraestrutura com um dispositivo se depararem com um obstáculo na period dos lagos de dados modernos e IA. As organizações estão buscando novas infraestruturas para gerenciar todos os dados que entram em seus sistemas e, em seguida, construir aplicativos centrados em dados sobre eles – isso requer escala e flexibilidade extraordinárias que somente o armazenamento de objetos pode suportar. É aí que entra o MinIO e é por isso que a empresa sempre esteve quilômetros à frente da concorrência, porque foi projetada para o que IA necessidades – armazenando grandes volumes de dados estruturados e não estruturados e fornecendo desempenho em escala.
Semelhante às necessidades de aprendizado de máquina (ML) nas gerações anteriores de IAos dados e os information lakes modernos têm sido essenciais para o sucesso de qualquer projeto “preditivo”. IA. No entanto, com o avanço do “generativo” IAesse cenário se expandiu para incluir muitos outros componentes, como IA Dados operacionais e pipelines de documentos, modelos fundamentais e bancos de dados vetoriais.
Todos esses componentes adicionais usam armazenamento de objetos e a maioria deles se integra diretamente ao MinIO. Por exemplo, Milvus, um banco de dados vetorial, usa MinIO, e muitos mecanismos de consulta modernos integram-se ao MinIO por meio de APIs S3.
IA a dívida técnica é uma preocupação crescente para muitas organizações. Que estratégias o MinIO emprega para ajudar os clientes a evitar esse problema, especialmente em termos de utilização mais eficiente de GPUs?
Uma corrente é tão forte quanto o seu elo mais fraco – e o seu IAA infraestrutura /ML é tão rápida quanto o seu componente mais lento. Se você treinar modelos de aprendizado de máquina com GPUs, seu elo mais fraco pode ser sua solução de armazenamento. O resultado é o que chamo de “problema de GPU faminta”. O problema de Ravenous GPU ocorre quando sua rede ou solução de armazenamento não consegue fornecer dados de treinamento à sua lógica de treinamento com rapidez suficiente para utilizar totalmente suas GPUs, deixando um valioso poder de computação na mesa. Algo que as organizações podem fazer para aproveitar totalmente suas GPUs é primeiro entender os sinais de uma arquitetura de dados deficiente e como isso pode resultar diretamente na subutilização de dados. IA tecnologia. Para evitar dívidas técnicas, as empresas devem mudar a forma como visualizam (e armazenam) os dados.
As organizações podem configurar uma solução de armazenamento que esteja no mesmo information middle que sua infraestrutura computacional. Idealmente, isso estaria no mesmo cluster que sua computação. Como o MinIO é uma solução de armazenamento definida por software program, ele é capaz de oferecer o desempenho necessário para alimentar GPUs famintas – um benchmark recente alcançou 325 GiB/s em GETs e 165 GiB/s em PUTs com apenas 32 nós de SSDs NVMe prontos para uso .
Você tem uma vasta experiência na criação de infraestruturas de dados de alto desempenho para instituições financeiras globais. Como essas experiências influenciam seu trabalho no MinIO, especialmente na arquitetura de soluções para diversas necessidades do setor?
Ajudei a construir a primeira nuvem privada para o Financial institution of America e essa iniciativa economizou bilhões de dólares ao fornecer recursos e funcionalidades disponíveis internamente em nuvens públicas a um custo menor. Não apenas esta grande iniciativa, mas muitos outros requisitos de aplicação diversos nos quais trabalhei no BofA Merrill Lynch moldaram meu trabalho no MinIO no que se refere à arquitetura de soluções para nossos clientes atuais.
Por exemplo, aprender da maneira errada ou “difícil” funcionou com a equipe que construiu clusters Hadoop que usavam apenas os componentes de armazenamento de dados do servidor, enquanto mantinham as CPUs do servidor subutilizadas ou quase ociosas. Exemplos simples ou aprendizados como esse me permitiram usar dados desagregados e soluções de computação na moderna infraestrutura de dados de hoje, ajudando nossos clientes e parceiros, que são soluções tecnicamente melhores e de menor custo, usando as atuais tecnologias de rede de alta largura de banda e armazenamentos de objetos de alto desempenho, como MinIO e qualquer mecanismo de consulta ou processamento.
A nuvem híbrida apresenta desafios e complexidades únicas. Você poderia discutir isso em detalhes e explicar como o modelo híbrido de “explosão” para a nuvem do MinIO ajuda a controlar os custos da nuvem de maneira eficaz?
A adoção da multicloud não deve levar ao aumento dos orçamentos de TI e à incapacidade de atingir marcos – deve ajudar a gerenciar custos e acelerar o roteiro de uma organização. Algo a considerar é a repatriação da nuvem — a realidade é que mudar as operações da nuvem para a infraestrutura native pode levar a economias substanciais de custos, dependendo do caso, e você deve sempre olhar para a nuvem como um modelo operacional, não como um destino. Por exemplo, as organizações criam instâncias de GPU, mas depois gastam tempo pré-processando os dados para encaixá-los na GPU. Isto desperdiça tempo e dinheiro preciosos – as organizações precisam otimizar melhor, escolhendo tecnologias nativas da nuvem e, mais importante, tecnologias portáteis na nuvem que possam liberar o poder da multicloud sem custos significativos. Usar os princípios do modelo operacional que prioriza a nuvem e aderir a essa estrutura proporciona agilidade para se adaptar às mudanças nos requisitos operacionais.
As soluções nativas do Kubernetes são essenciais para a infraestrutura moderna. Como a integração do MinIO com o Kubernetes melhora sua escalabilidade e flexibilidade para IA infraestrutura de dados?
MinIO é nativo do Kubernetes por design e compatível com S3 desde o início. Os desenvolvedores podem implantar rapidamente armazenamento de objetos persistentes para todos os seus aplicativos nativos da nuvem. A combinação de MinIO e Kubernetes fornece uma plataforma poderosa que permite que os aplicativos sejam escalonados em qualquer infraestrutura de nuvem híbrida e multinuvem e ainda sejam gerenciados e protegidos centralmente, evitando o aprisionamento da nuvem pública.
Com o Kubernetes como mecanismo, o MinIO é capaz de rodar em qualquer lugar que o Kubernetes o faça – o que, no moderno, nativo da nuvem/IA mundo, está essencialmente em toda parte.
Olhando para o futuro, quais são os futuros desenvolvimentos ou melhorias que os usuários podem esperar do MinIO no contexto de IA infraestrutura de dados?
Nossas recentes parcerias e lançamentos de produtos são um sinal para o mercado de que não iremos desacelerar tão cedo e continuaremos avançando onde fizer sentido para nossos clientes. Por exemplo, recentemente fizemos uma parceria com a Carahsoft para disponibilizar o portfólio de armazenamento de objetos definidos por software program do MinIO para os setores de Governo, Defesa, Inteligência e Educação. Isso permite que as organizações do setor público construam qualquer infraestrutura de dados em escala diversificada, desde datalakes modernos e expansivos até soluções de armazenamento de dados específicas para missões na borda autônoma. Juntos, estamos trazendo essas soluções exclusivas e de ponta para clientes do setor público, capacitando-os a enfrentar os desafios da infraestrutura de dados de maneira fácil e eficiente. Esta parceria surge num momento em que há um esforço crescente para permitir que o sector público seja IA-pronto, com os recentes requisitos do OMB declarando que todas as agências federais precisam de um Chefe IA Oficial (entre outras coisas). No geral, a parceria ajuda a fortalecer a indústria IA postura e dá ao setor público as ferramentas valiosas necessárias para ter sucesso.
Além disso, o MinIO está muito bem posicionado para o futuro. IA a infraestrutura de dados ainda está em sua infância. Muitas áreas disso ficarão mais aparentes nos próximos anos. Por exemplo, a maioria das empresas desejará usar seus dados e documentos proprietários com modelos fundamentais e geração aumentada de recuperação (RAG). Uma maior integração a esse padrão de implantação será fácil para o MinIO, pois todas essas opções de arquitetura e padrões de implantação têm uma coisa em comum: todos os dados já estão armazenados no MinIO.
Finalmente, para os líderes tecnológicos que procuram construir ou melhorar a sua infra-estrutura de dados para IAque conselho você daria com base em sua experiência e insights no MinIO?
Para fazer qualquer IA Se a iniciativa for bem-sucedida, há três elementos-chave que você deve seguir: ter os dados certos, a infraestrutura certa e os aplicativos certos. Na verdade, começa com a compreensão do que você precisa – não saia e compre GPUs caras só porque tem medo de perder o IA barco. Acredito firmemente que a empresa IA as estratégias falharão em 2024 se as organizações se concentrarem apenas nos próprios modelos e não nos dados. Pensar no modelo em vez de nos dados é um erro crítico – você tem que começar com os dados. Construa uma infraestrutura de dados adequada. Então, pense em seus modelos. À medida que as organizações avançam em direção a um IA-primeira arquitetura, é imperativo que sua infraestrutura de dados permita seus dados – e não os restrinja.
Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar o MinIO.
