Can I use Kubeflow with SageMaker?
Puis-je utiliser Kubeflow avec SageMaker ?
Yes. Amazon SageMaker Components for Kubeflow Pipelines are open-source plugins that allow you to use Kubeflow Pipelines to define your ML workflows and use SageMaker for the data labeling, training, and inference steps. Kubeflow Pipelines is an add-on to Kubeflow that lets you build and deploy portable and scalable complete ML pipelines. However, when using Kubeflow Pipelines, ML ops teams need to manage a Kubernetes cluster with CPU and GPU instances and keep its utilization high at all times to reduce operational costs. Maximizing the utilization of a cluster across data science teams is challenging and adds additional operational overhead to the ML ops teams. As an alternative to an ML-optimized Kubernetes cluster, with SageMaker Components for Kubeflow Pipelines you can take advantage of powerful SageMaker features such as data labeling, fully managed large-scale hyperparameter tuning and distributed training jobs, one-click secure and scalable model deployment, and cost-effective training through Amazon Elastic Compute Cloud (Amazon EC2) Spot Instances without needing to configure and manage Kubernetes clusters specifically to run the ML jobs.
Oui. Amazon SageMaker Components pour Kubeflow Pipelines sont des plugins open source qui vous permettent d'utiliser Kubeflow Pipelines pour définir vos flux ML et SageMaker pour les étapes d'étiquetage, d'entraînement et d'inférence des données. Kubeflow Pipelines est un module complémentaire pour Kubeflow qui vous permet de créer et de déployer des pipelines ML de bout en bout portables et évolutifs. Cependant, lorsqu'elles utilisent Kubeflow Pipelines, les équipes d'opérations ML doivent gérer un cluster Kubernetes avec des instances de CPU et de GPU et maintenir son utilisation élevée en permanence pour réduire les frais d'utilisation. La maximisation de l'utilisation d'un cluster au sein des équipes de science des données est un défi. Cela multiplie davantage la charge pour les équipes d'opérations ML. En tant qu'alternative à un cluster Kubernetes optimisé pour le ML, avec Amazon SageMaker Components pour Kubeflow Pipelines vous permet de tirer parti de puissantes fonctions SageMaker, telles que l'étiquetage des données, le réglage d'hyperparamètres à grande échelle entièrement géré et les tâches d'entraînement distribuées, le déploiement en un clic de modèles sécurisés et évolutifs et l'entraînement économique à l'aide d'instances Spot Amazon Elastic Compute Cloud (Amazon EC2), le tout sans devoir configurer et gérer des clusters Kubernetes pour exécuter spécifiquement les tâches ML.