Operações de aprendizado de máquina (MLOps) são um conjunto de práticas e princípios que visam unificar os processos de desenvolvimento, implantação e manutenção de modelos de aprendizado de máquina em ambientes de produção. Ele combina princípios de DevOps, como integração contínua, entrega contínua e monitoramento contínuo, com os desafios exclusivos de gerenciamento de modelos e conjuntos de dados de aprendizado de máquina.
À medida que a adoção do aprendizado de máquina em vários setores continua a crescer, a demanda por ferramentas robustas de MLOps também aumentou. Essas ferramentas ajudam a agilizar todo o ciclo de vida dos projetos de aprendizado de máquina, desde a preparação de dados e treinamento de modelos até a implantação e monitoramento. Neste guia abrangente, exploraremos algumas das principais ferramentas MLOps disponíveis, incluindo Weights & Biases, Comet e outras, juntamente com seus recursos, casos de uso e exemplos de código.
O que é MLOps?
MLOps, ou Machine Studying Operations, é um campo multidisciplinar que combina os princípios de ML, engenharia de software program e práticas de DevOps para agilizar a implantação, o monitoramento e a manutenção de modelos de ML em ambientes de produção. Ao estabelecer fluxos de trabalho padronizados, automatizar tarefas repetitivas e implementar mecanismos robustos de monitoramento e governança, o MLOps permite que as organizações acelerem o desenvolvimento de modelos, melhorem a confiabilidade da implantação e maximizem o valor derivado das iniciativas de ML.
Construindo e mantendo pipelines de ML
Ao construir qualquer produto ou serviço baseado em aprendizado de máquina, treinar e avaliar o modelo em algumas amostras do mundo actual não significa necessariamente o fim de suas responsabilidades. Você precisa disponibilizar esse modelo para os usuários finais, monitorá-lo e treiná-lo novamente para obter melhor desempenho, se necessário. Um pipeline tradicional de aprendizado de máquina (ML) é uma coleção de vários estágios que incluem coleta de dados, preparação de dados, treinamento e avaliação de modelo, ajuste de hiperparâmetros (se necessário), implantação e dimensionamento de modelo, monitoramento, segurança e conformidade e CI/CD.
Uma equipe de engenharia de aprendizado de máquina é responsável por trabalhar nos primeiros quatro estágios do pipeline de ML, enquanto os dois últimos estágios são de responsabilidade da equipe de operações. Como existe uma delimitação clara entre as equipes de aprendizado de máquina e de operações para a maioria das organizações, a colaboração e a comunicação eficazes entre as duas equipes são essenciais para o desenvolvimento, a implantação e a manutenção bem-sucedidos de sistemas de ML. Essa colaboração entre equipes de ML e operações é o que você chama de MLOps e se concentra na simplificação do processo de implantação dos modelos de ML na produção, juntamente com sua manutenção e monitoramento. Embora MLOps seja uma abreviatura de ML e operações, não se deixe confundir, pois pode permitir colaborações entre cientistas de dados, engenheiros de DevOps e equipes de TI.
A principal responsabilidade do MLOps é facilitar a colaboração eficaz entre as equipes de ML e de operação para aumentar o ritmo de desenvolvimento e implantação de modelos com a ajuda de práticas de integração e desenvolvimento contínuos (CI/CD) complementadas por monitoramento, validação e governança de modelos de ML. Ferramentas e software program que facilitam CI/CD automatizado, fácil desenvolvimento, implantação em escala, simplificação de fluxos de trabalho e aprimoramento da colaboração são frequentemente chamados de ferramentas MLOps. Depois de muita pesquisa, fiz a curadoria de uma lista de várias ferramentas MLOps que são usadas em alguns grandes gigantes da tecnologia como Netflix, Uber, DoorDash, LUSH, and so on.
Tipos de ferramentas MLOps
As ferramentas MLOps desempenham um papel elementary em todas as fases do ciclo de vida do aprendizado de máquina. Nesta seção, você verá uma análise clara das funções de uma lista de ferramentas MLOps em cada estágio do ciclo de vida do ML.
Ferramentas de orquestração de pipeline
A orquestração de pipeline em termos de aprendizado de máquina refere-se ao processo de gerenciamento e coordenação de várias tarefas e componentes envolvidos no fluxo de trabalho de ML ponta a ponta, desde o pré-processamento de dados e treinamento de modelo até a implantação e monitoramento de modelo.
O software program MLOps é muito fashionable neste espaço, pois fornece recursos como gerenciamento de fluxo de trabalho, gerenciamento de dependências, paralelização, controle de versão e automação de implantação, permitindo que as organizações simplifiquem seus fluxos de trabalho de ML, melhorem a colaboração entre cientistas e engenheiros de dados e acelerem a entrega de ML soluções.
Estruturas de treinamento modelo
Esta etapa envolve o processo de criação e otimização de modelos preditivos com dados rotulados e não rotulados. Durante o treinamento, os modelos aprendem os padrões e relacionamentos subjacentes nos dados, ajustando seus parâmetros para minimizar a diferença entre os resultados previstos e reais. Você pode considerar este estágio como o estágio com maior uso de código de todo o pipeline de ML. Esta é a razão pela qual os cientistas de dados precisam estar ativamente envolvidos nesta fase, pois precisam experimentar diferentes algoritmos e combinações de parâmetros.
Estruturas de aprendizado de máquina como o scikit-learn são bastante populares para treinar modelos de aprendizado de máquina, enquanto TensorFlow e PyTorch são populares para treinar modelos de aprendizado profundo que compreendem diferentes redes neurais.
Implantação de modelo e plataformas de serviço
Assim que a equipe de desenvolvimento terminar de treinar o modelo, ela precisará disponibilizar esse modelo para inferência no ambiente de produção onde esses modelos podem gerar previsões. Isso normalmente envolve a implantação do modelo em uma infraestrutura de serviço, configuração de APIs para comunicação, controle de versão e gerenciamento de modelo, escalonamento automatizado e balanceamento de carga e garantia de escalabilidade, confiabilidade e desempenho.
As ferramentas MLOps oferecem recursos como conteinerização, orquestração, controle de versão de modelo, testes A/B e registro em log, permitindo que as organizações implantem e forneçam modelos de ML de maneira eficiente e eficaz.
Ferramentas de monitoramento e observabilidade
O desenvolvimento e a implantação dos modelos não são um processo único. Ao desenvolver um modelo em uma determinada distribuição de dados, você espera que o modelo também faça previsões para a mesma distribuição de dados na produção. Isso não é splendid porque a distribuição de dados está sujeita a mudanças no mundo actual, o que resulta na degradação do poder preditivo do modelo. Isso é o que você chama de desvio de dados. Só há uma maneira de identificar o desvio de dados: monitorar continuamente seus modelos em produção.
O monitoramento e a observabilidade do modelo no aprendizado de máquina incluem o monitoramento de métricas importantes, como precisão de previsão, latência, rendimento e utilização de recursos, bem como a detecção de anomalias, desvios e mudanças de conceito na distribuição de dados. As ferramentas de monitoramento MLOps podem automatizar a coleta de dados de telemetria, permitir análise e visualização de métricas em tempo actual e disparar alertas e ações com base em limites ou condições predefinidos.
Plataformas de colaboração e acompanhamento de experiências
Suponha que você esteja trabalhando no desenvolvimento de um sistema de ML junto com uma equipe de colegas cientistas de dados. Se você não estiver usando um mecanismo que rastreie quais modelos foram testados, quem está trabalhando em qual parte do pipeline, and so on., será difícil determinar quais modelos já foram testados por você ou por outras pessoas. Também pode acontecer que dois desenvolvedores estejam trabalhando no desenvolvimento dos mesmos recursos, o que é realmente uma perda de tempo e recursos. E como você não está acompanhando nada relacionado ao seu projeto, certamente não poderá usar esse conhecimento para outros projetos, limitando assim a reprodutibilidade.
As ferramentas MLOps de colaboração e rastreamento de experimentos permitem que cientistas e engenheiros de dados colaborem de forma eficaz, compartilhem conhecimento e reproduzam experimentos para desenvolvimento e otimização de modelos. Essas ferramentas oferecem recursos como rastreamento de experimentos, controle de versão, rastreamento de linhagem e registro de modelo, permitindo que as equipes registrem experimentos, rastreiem alterações e comparem resultados em diferentes iterações de modelos de ML.
Armazenamento de dados e versionamento
Ao trabalhar nos pipelines de ML, você faz alterações significativas nos dados brutos na fase de pré-processamento. Por algum motivo, se você não conseguir treinar seu modelo imediatamente, você deseja armazenar esses dados pré-processados para evitar trabalho repetido. O mesmo vale para o código, você sempre desejará continuar trabalhando no código que deixou na sessão anterior.
As ferramentas de armazenamento e controle de versão de dados MLOps oferecem recursos como controle de versão de dados, gerenciamento de artefatos, rastreamento de metadados e linhagem de dados, permitindo que as equipes rastreiem alterações, reproduzam experimentos e garantam consistência e reprodutibilidade em diferentes iterações de modelos de ML.
Computação e infraestrutura
Quando se fala em treinar, implantar e dimensionar os modelos, tudo se resume a computação e infraestrutura. Especialmente nos tempos atuais, quando grandes modelos de linguagem (LLMs) estão abrindo caminho para vários projetos de IA generativa baseados na indústria. Certamente você pode treinar um classificador simples em um sistema com 8 GB de RAM e nenhum dispositivo GPU, mas não seria prudente treinar um modelo LLM na mesma infraestrutura.
As ferramentas de computação e infraestrutura oferecem recursos como conteinerização, orquestração, escalonamento automático e gerenciamento de recursos, permitindo que as organizações utilizem com eficiência recursos de nuvem, infraestrutura native ou ambientes híbridos para cargas de trabalho de ML.
Melhores ferramentas e plataformas MLOps para 2024
Embora Weights & Biases e Comet sejam startups de MLOps proeminentes, várias outras ferramentas estão disponíveis para oferecer suporte a vários aspectos do ciclo de vida do aprendizado de máquina. Aqui estão alguns exemplos notáveis:
- Fluxo de ML: MLflow é uma plataforma de código aberto que ajuda a gerenciar todo o ciclo de vida do aprendizado de máquina, incluindo rastreamento de experimentos, reprodutibilidade, implantação e um registro central de modelo.
- Kubeflow: Kubeflow é uma plataforma de código aberto projetada para simplificar a implantação de modelos de aprendizado de máquina no Kubernetes. Ele fornece um conjunto abrangente de ferramentas para preparação de dados, treinamento de modelos, otimização de modelos, serviço de previsão e monitoramento de modelos em ambientes de produção.
- BentoML: BentoML é a primeira ferramenta Python para implantar e manter modelos de aprendizado de máquina em produção. Ele oferece suporte a inferência paralela, lote adaptativo e aceleração de {hardware}, permitindo atendimento de modelo eficiente e escalonável.
- TensorBoard: Desenvolvido pela equipe do TensorFlow, o TensorBoard é uma ferramenta de visualização de código aberto para experimentos de aprendizado de máquina. Ele permite que os usuários rastreiem métricas, visualizem gráficos de modelos, incorporem projetos e compartilhem resultados de experimentos.
- Evidentemente: Evidentemente, AI é uma biblioteca Python de código aberto para monitorar modelos de aprendizado de máquina durante o desenvolvimento, validação e produção. Ele verifica a qualidade dos dados e do modelo, o desvio de dados, o desvio de destino e o desempenho de regressão e classificação.
- Amazon Sage Maker: Amazon Net Companies SageMaker é uma solução MLOps abrangente que abrange treinamento de modelos, rastreamento de experimentos, implantação de modelos, monitoramento e muito mais. Ele fornece um ambiente colaborativo para equipes de ciência de dados, permitindo a automação de fluxos de trabalho de ML e o monitoramento contínuo de modelos em produção.
O que são pesos e preconceitos?
Weights & Biases (W&B) é uma plataforma fashionable de rastreamento e visualização de experimentos de aprendizado de máquina que auxilia cientistas de dados e profissionais de ML no gerenciamento e análise de seus modelos com facilidade. Ele oferece um conjunto de ferramentas que oferecem suporte a todas as etapas do fluxo de trabalho de ML, desde a configuração do projeto até a implantação do modelo.
Principais recursos de pesos e preconceitos
- Acompanhamento e registro de experimentos: W&B permite aos usuários registrar e rastrear experimentos, capturando informações essenciais como hiperparâmetros, arquitetura de modelo e detalhes do conjunto de dados. Ao registrar esses parâmetros, os usuários podem reproduzir facilmente experimentos e comparar resultados, facilitando a colaboração entre os membros da equipe.
import wandb
# Initialize W&B
wandb.init(mission="my-project", entity="my-team")
# Log hyperparameters
config = wandb.config
config.learning_rate = 0.001
config.batch_size = 32
# Log metrics throughout coaching
wandb.log({"loss": 0.5, "accuracy": 0.92})
- Visualizações e painéis: W&B fornece um painel interativo para visualizar os resultados dos experimentos, facilitando a análise de tendências, a comparação de modelos e a identificação de áreas de melhoria. Essas visualizações incluem gráficos personalizáveis, matrizes de confusão e histogramas. O painel pode ser compartilhado com os colaboradores, permitindo comunicação eficaz e compartilhamento de conhecimento.
# Log confusion matrix
wandb.log({"confusion_matrix": wandb.plot.confusion_matrix(predictions, labels)})
# Log a customized chart
wandb.log({"chart": wandb.plot.line_series(x=(1, 2, 3), y=((1, 2, 3), (4, 5, 6)))})
- Versionamento e comparação de modelos: Com o W&B, os usuários podem rastrear e comparar facilmente diferentes versões de seus modelos. Esse recurso é particularmente valioso ao experimentar diferentes arquiteturas, hiperparâmetros ou técnicas de pré-processamento. Ao manter um histórico de modelos, os usuários podem identificar as configurações de melhor desempenho e tomar decisões baseadas em dados.
# Save mannequin artifact
wandb.save("mannequin.h5")
# Log a number of variations of a mannequin
with wandb.init(mission="my-project", entity="my-team"):
# Prepare and log mannequin model 1
wandb.log({"accuracy": 0.85})
with wandb.init(mission="my-project", entity="my-team"):
# Prepare and log mannequin model 2
wandb.log({"accuracy": 0.92})
- Integração com estruturas populares de ML: W&B se integra perfeitamente a estruturas de ML populares, como TensorFlow, PyTorch e scikit-learn. Ele fornece integrações leves que exigem modificações mínimas de código, permitindo que os usuários aproveitem os recursos do W&B sem interromper seus fluxos de trabalho existentes.
import wandb
import tensorflow as tf
# Initialize W&B and log metrics throughout coaching
wandb.init(mission="my-project", entity="my-team")
wandb.tensorflow.log(tf.abstract.scalar('loss', loss))
O que é cometa?
Comet é uma plataforma de aprendizado de máquina baseada em nuvem onde os desenvolvedores podem rastrear, comparar, analisar e otimizar experimentos. Ele foi projetado para ser rápido de instalar e fácil de usar, permitindo que os usuários comecem a rastrear seus experimentos de ML com apenas algumas linhas de código, sem depender de nenhuma biblioteca específica.
Principais recursos do cometa
- Visualizações personalizadas: Comet permite que os usuários criem visualizações personalizadas para seus experimentos e dados. Além disso, os usuários podem aproveitar as visualizações fornecidas pela comunidade em painéis, melhorando sua capacidade de analisar e interpretar os resultados.
- Monitoramento em tempo actual: Comet fornece estatísticas e gráficos em tempo actual sobre experimentos em andamento, permitindo que os usuários monitorem o progresso e o desempenho de seus modelos enquanto treinam.
- Comparação de experimentos: Com o Comet, os usuários podem comparar facilmente seus experimentos, incluindo código, métricas, previsões, insights e muito mais. Esse recurso facilita a identificação dos modelos e configurações com melhor desempenho.
- Depuração e rastreamento de erros: Comet permite aos usuários depurar erros de modelo, erros específicos do ambiente e outros problemas que podem surgir durante o processo de treinamento e avaliação.
- Monitoramento de modelo: Comet permite que os usuários monitorem seus modelos e recebam notificações quando ocorrerem problemas ou bugs, garantindo intervenção e mitigação oportunas.
- Colaboração: Comet apoia a colaboração dentro das equipes e com as partes interessadas da empresa, permitindo o compartilhamento contínuo de conhecimento e a comunicação eficaz.
- Integração de Estrutura: Comet pode ser facilmente integrado a estruturas de ML populares, como TensorFlow, PyTorch e outros, tornando-o uma ferramenta versátil para diferentes projetos e casos de uso.
Escolhendo a ferramenta MLOps certa
Ao selecionar uma ferramenta MLOps para o seu projeto, é essencial considerar fatores como a familiaridade da sua equipe com estruturas específicas, os requisitos do projeto, a complexidade do(s) modelo(s) e o ambiente de implantação. Algumas ferramentas podem ser mais adequadas para casos de uso específicos ou integrar-se mais perfeitamente à sua infraestrutura existente.
Além disso, é importante avaliar a documentação da ferramenta, o suporte da comunidade e a facilidade de configuração e integração. Uma ferramenta bem documentada com uma comunidade ativa pode acelerar significativamente a curva de aprendizado e facilitar a solução de problemas.
Melhores práticas para MLOps eficazes
Para maximizar os benefícios das ferramentas MLOps e garantir a implantação e manutenção bem-sucedidas do modelo, é essential seguir as práticas recomendadas. Aqui estão algumas considerações importantes:
- Registro consistente: certifique-se de que todos os hiperparâmetros, métricas e artefatos relevantes sejam registrados de forma consistente em todos os experimentos. Isto promove a reprodutibilidade e facilita a comparação eficaz entre diferentes execuções.
- Colaboração e Compartilhamento: aproveite os recursos de colaboração das ferramentas MLOps para compartilhar experimentos, visualizações e insights com os membros da equipe. Isso promove a troca de conhecimento e melhora os resultados gerais do projeto.
- Documentação e Notas: mantenha documentação e notas abrangentes na ferramenta MLOps para capturar detalhes, observações e insights do experimento. Isso ajuda na compreensão de experimentos anteriores e facilita iterações futuras.
- Integração e implantação contínuas (CI/CD): implemente pipelines de CI/CD para seus modelos de machine studying para garantir testes, implantação e monitoramento automatizados. Isso agiliza o processo de implantação e reduz o risco de erros.
Exemplos de código e casos de uso
Para entender melhor o uso prático das ferramentas MLOps, vamos explorar alguns exemplos de código e casos de uso.
Acompanhamento de experimentos com pesos e preconceitos
Weights & Biases fornece integração perfeita com estruturas populares de aprendizado de máquina, como PyTorch e TensorFlow. Aqui está um exemplo de como você pode registrar métricas e visualizá-las durante o treinamento do modelo com PyTorch:
import wandb
import torch
import torchvision
# Initialize W&B
wandb.init(mission="image-classification", entity="my-team")
# Load knowledge and mannequin
train_loader = torch.utils.knowledge.DataLoader(...)
mannequin = torchvision.fashions.resnet18(pretrained=True)
# Arrange coaching loop
optimizer = torch.optim.SGD(mannequin.parameters(), lr=0.01)
criterion = torch.nn.CrossEntropyLoss()
for epoch in vary(10):
for inputs, labels in train_loader:
optimizer.zero_grad()
outputs = mannequin(inputs)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step()
# Log metrics
wandb.log({"loss": loss.merchandise()})
# Save mannequin
torch.save(mannequin.state_dict(), "mannequin.pth")
wandb.save("mannequin.pth")
Neste exemplo, inicializamos uma execução W&B, treinamos um modelo ResNet-18 em uma tarefa de classificação de imagem e registramos a perda de treinamento em cada etapa. Também salvamos o modelo treinado como um artefato usando wandb.save(). O W&B rastreia automaticamente as métricas do sistema, como o uso da GPU, e podemos visualizar o progresso do treinamento, as curvas de perda e as métricas do sistema no painel do W&B.
Monitoramento de modelo com Evidentemente
Evidentemente é uma ferramenta poderosa para monitorar modelos de aprendizado de máquina em produção. Aqui está um exemplo de como você pode usá-lo para monitorar o desvio de dados e o desempenho do modelo:
import evidently
import pandas as pd
from evidently.model_monitoring import ModelMonitor
from evidently.model_monitoring.displays import DataDriftMonitor, PerformanceMonitor
# Load reference knowledge
ref_data = pd.read_csv("reference_data.csv")
# Load manufacturing knowledge
prod_data = pd.read_csv("production_data.csv")
# Load mannequin
mannequin = load_model("mannequin.pkl")
# Create knowledge and efficiency displays
data_monitor = DataDriftMonitor(ref_data)
perf_monitor = PerformanceMonitor(ref_data, mannequin)
# Monitor knowledge and efficiency
model_monitor = ModelMonitor(data_monitor, perf_monitor)
model_monitor.run(prod_data)
# Generate HTML report
model_monitor.report.save_html("model_monitoring_report.html")
Neste exemplo, carregamos dados de referência e de produção, bem como um modelo treinado. Criamos instâncias de DataDriftMonitor e PerformanceMonitor para monitorar o desvio de dados e o desempenho do modelo, respectivamente. Em seguida, executamos esses monitores nos dados de produção usando ModelMonitor e gerar um relatório HTML com os resultados.
Implantação com BentoML
BentoML simplifica o processo de implantação e atendimento de modelos de aprendizado de máquina. Aqui está um exemplo de como você pode empacotar e implantar um modelo scikit-learn usando BentoML:
import bentoml
from bentoml.io import NumpyNdarray
from sklearn.linear_model import LogisticRegression
# Prepare mannequin
clf = LogisticRegression()
clf.match(X_train, y_train)
# Outline BentoML service
class LogisticRegressionService(bentoml.BentoService):
@bentoml.api(enter=NumpyNdarray(), batch=True)
def predict(self, input_data):
return self.artifacts.clf.predict(input_data)
@bentoml.artifacts((LogisticRegression.artifacts))
def pack(self, artifacts):
artifacts.clf = clf
# Bundle and save mannequin
svc = bentoml.Service("logistic_regression", runners=(LogisticRegressionService()))
svc.pack().save()
# Deploy mannequin
svc = LogisticRegressionService.load()
svc.begin()
Neste exemplo, treinamos um modelo LogisticRegression do scikit-learn e definimos um serviço BentoML para servir previsões. Em seguida, empacotamos o modelo e seus artefatos usando bentoml.Service e salve-o no disco. Por fim, carregamos o modelo salvo e iniciamos o serviço BentoML, disponibilizando-o para servir previsões.
Conclusão
No campo em rápida evolução do aprendizado de máquina, as ferramentas MLOps desempenham um papel essential na simplificação de todo o ciclo de vida dos projetos de aprendizado de máquina, desde a experimentação e desenvolvimento até a implantação e monitoramento. Ferramentas como Weights & Biases, Comet, MLflow, Kubeflow, BentoML e Evidently oferecem uma variedade de recursos e capacidades para oferecer suporte a vários aspectos do fluxo de trabalho MLOps.
Ao aproveitar essas ferramentas, as equipes de ciência de dados podem aprimorar a colaboração, a reprodutibilidade e a eficiência, garantindo ao mesmo tempo a implantação de modelos de aprendizado de máquina confiáveis e de alto desempenho em ambientes de produção. À medida que a adoção da aprendizagem automática continua a crescer em todos os setores, a importância das ferramentas e práticas MLOps só aumentará, impulsionando a inovação e permitindo que as organizações aproveitem todo o potencial da inteligência synthetic e das tecnologias de aprendizagem automática.
