Machine Learning Ops (MLOps) décrit une suite de meilleures pratiques qui aident avec succès une entreprise à gérer l'intelligence artificielle. Il comprend les compétences, les flux de travail et les processus permettant de créer, d'exécuter et de maintenir des modèles d'apprentissage automatique pour aider divers processus opérationnels au sein des organisations.
Aspect | Explication |
---|---|
Présentation du concept | MLOps (opérations d'apprentissage automatique) est un ensemble de pratiques et de techniques visant à opérationnaliser et automatiser le cycle de vie du machine learning de bout en bout. Il combine des aspects de machine learning, génie logicielet DevOps pour rationaliser le développement, le déploiement, la surveillance et la maintenance des modèles d'apprentissage automatique en production. MLOps garantit que les projets d'apprentissage automatique sont évolutifs, maintenables et fiables. |
Les principes clés | MLOps est guidé par plusieurs principes clés : 1. Automatisation: Automatisez les tâches répétitives dans le pipeline d'apprentissage automatique, telles que le prétraitement des données, la formation de modèles et le déploiement. 2. Collaboration: Favoriser la collaboration entre les data scientists, les ingénieurs et les équipes opérationnelles pour garantir une intégration fluide des modèles ML dans la production. 3. Reproductibilité: Conserver un enregistrement de toutes les expériences, codes et données pour permettre la reproductibilité du modèle et le contrôle des versions. 4. Intégration et déploiement continus (CI/CD): Implémenter des pipelines CI/CD pour les tests et le déploiement de modèles. 5. Suivi et gouvernance: Surveiller en permanence les performances, la dérive et la conformité des modèles aux réglementations. 6. Évolutivité: Concevoir des systèmes capables de gérer des charges de travail accrues à mesure que l'adoption de l'apprentissage automatique se développe. |
Cycle de vie des MLOps | Le cycle de vie MLOps implique généralement les étapes suivantes : 1. Acquisition et préparation des données: Collecter et prétraiter les données pour la formation du modèle. 2. Développement de modèles: Créez et expérimentez des modèles d’apprentissage automatique. 3. Formation modèle: Former des modèles sur les données préparées. 4. Évaluation du modèle: Évaluez les performances du modèle et sélectionnez le meilleur modèle. 5. Déploiement du modèle: Déployez le modèle sélectionné dans un environnement de production. 6. Surveillance et maintenance du modèle: Surveiller en permanence les performances du modèle et recycler si nécessaire. 7. Modèle de gouvernance et de conformité: S'assurer que les modèles sont conformes aux exigences éthiques, juridiques et réglementaires. |
Avantages | La mise en œuvre de MLOps offre plusieurs avantages : 1. Efficacité accrue: Les processus rationalisés réduisent les temps de développement et de déploiement. 2. Fiabilité améliorée du modèle: La surveillance continue et les tests automatisés détectent les problèmes à un stade précoce. 3. Collaboration: Les équipes interfonctionnelles collaborent plus efficacement. 4. Évolutivité: Les systèmes évolutifs s’adaptent aux charges de travail croissantes d’apprentissage automatique. 5. Reproductibilité: Réplication facile des expériences et des modèles. 6. Rentabilité: La réduction des interventions manuelles réduit les coûts opérationnels. |
Défis et Risques | Les défis liés à l'adoption du MLOps incluent la complexité de l'intégration de l'apprentissage automatique à l'infrastructure existante, le besoin de compétences spécialisées et le potentiel de confidentialité des données et de problèmes éthiques, en particulier dans les applications d'IA. |
Cas d’usage | MLOps est principalement appliqué dans les domaines où les modèles d'apprentissage automatique sont essentiels, notamment analyses prédictives, traitement du langage naturel, vision par ordinateuret systèmes de recommandation. Il est utilisé dans des industries telles que finance, la médecine , e-commerceet fabrication. |
Outils et technologies | Divers outils et technologies prennent en charge MLOps, notamment Docker et le Kubernetes pour la conteneurisation et l'orchestration, Jenkins, CI/CD GitLabet Travis CI pour les pipelines CI/CD et les plateformes MLOps spécialisées comme MLflow, Kubeflowet TFX (TensorFlow étendu). |
Comprendre les opérations d'apprentissage automatique
Machine Learning Ops est un concept relativement nouveau car l'application commerciale de l'intelligence artificielle (IA) est également un processus émergent.
En effet, l'IA a fait irruption sur la scène il y a moins de dix ans après qu'un chercheur l'ait utilisée pour gagner un concours de reconnaissance d'images.
Depuis cette époque, l'intelligence artificielle peut être vue dans:
- Traduction de sites Web dans différentes langues.
- Calcul du risque de crédit pour les demandes d'hypothèque ou de prêt.
- Réacheminement des appels du service client vers le service approprié.
- Assister le personnel hospitalier dans l'analyse des radiographies.
- Rationalisation des opérations logistiques et de la chaîne d'approvisionnement des supermarchés.
- Automatisation de la génération de texte pour le support client, le référencement et la rédaction.
À mesure que l'IA devient de plus en plus omniprésente, l'apprentissage automatique qui l'alimente doit en faire de même. MLOps a été créé en réponse au besoin des entreprises de suivre un cadre d'apprentissage automatique développé.
Basé sur les pratiques DevOps, MLOps cherche à combler une déconnexion fondamentale entre le code soigneusement conçu et les données imprévisibles du monde réel. Cette déconnexion peut entraîner des problèmes tels qu'un déploiement lent ou incohérent, une faible reproductibilité et une réduction des performances.
Les quatre principes directeurs de Machine Learning Ops
Comme indiqué, MLOps n'est pas une solution technique unique, mais une suite de meilleures pratiques ou de principes directeurs.
Voici un aperçu de chacun sans ordre particulier :
L'apprentissage automatique doit être reproductible
Autrement dit, les données doivent pouvoir auditer, vérifier et reproduire chaque production modèle.
Le contrôle de version pour le code dans le développement de logiciels est standard.
Mais dans l'apprentissage automatique, les données, les paramètres et les métadonnées doivent tous être versionnés.
En stockant modèle artefacts de formation, les modèle peut également être reproduit si nécessaire.
L'apprentissage automatique doit être collaboratif
MLOps préconise que l'apprentissage automatique modèle la production est visible et collaborative.
Tout, de l'extraction de données à modèle le déploiement doit être abordé en transformant les connaissances tacites en code.
L'apprentissage automatique doit être testé et surveillé
L'apprentissage automatique étant une pratique d'ingénierie, les tests et la surveillance ne doivent pas être négligés.
La performance dans le contexte des MLOps intègre l'importance prédictive ainsi que la performance technique.
Des normes d'adhésion au modèle doivent être définies et les comportements attendus rendus visibles.
L'équipe ne doit pas se fier à ses instincts.
L'apprentissage automatique doit être continu
Il est important de réaliser qu'un modèle d'apprentissage automatique est temporaire et que son cycle de vie dépend du cas d'utilisation et de la dynamique des données sous-jacentes.
Alors qu'un système entièrement automatisé peut diminuer avec le temps, l'apprentissage automatique doit être considéré comme un processus continu où le recyclage est rendu aussi facile que possible.
Implémentation de MLOps dans les opérations commerciales
Dans un sens très large, les entreprises peuvent mettre en œuvre des MLOps en suivant quelques étapes :
Étape 1 – Reconnaître les parties prenantes
Les projets MLOps sont souvent de grandes initiatives complexes et multidisciplinaires qui nécessitent la contribution de différentes parties prenantes.
Ceux-ci incluent des parties prenantes évidentes telles que des ingénieurs en apprentissage automatique, des scientifiques des données et des ingénieurs DevOps.
Cependant, ces projets nécessiteront également la collaboration et la coopération des ingénieurs informatiques, de gestion et de données.
Étape 2 – Investir dans l'infrastructure
Il existe une multitude de produits d'infrastructure sur le marché, et tous ne sont pas nés égaux.
Pour décider du produit à adopter, une entreprise doit prendre en compte :
Reproductibilité
Le produit doit faciliter la rétention des connaissances en science des données.
En effet, la facilité de reproductibilité est régie par le contrôle de la version des données et le suivi des expériences.
Efficacité
Le produit permet-il de gagner du temps ou de l'argent ? Par exemple, l'apprentissage automatique peut-il supprimer le travail manuel pour augmenter la capacité du pipeline ?
Intégrabilité
Le produit s'intégrera-t-il bien aux processus ou systèmes existants ?
Étape 3 - Automatisation
Avant de passer à la production, les projets d'apprentissage automatique doivent être divisés en composants plus petits et plus faciles à gérer.
Ces composants doivent être liés mais pouvoir être développés séparément.
Le processus de séparation d'un problème en plusieurs composants oblige l'équipe produit à suivre un processus conjoint.
Cela encourage la formation d'un langage bien défini entre ingénieurs et data scientists, qui travaillent en collaboration pour créer un produit capable de se mettre à jour automatiquement.
Cette capacité s'apparente à la pratique DevOps de l'intégration continue (CI).
MLOps et AIaaS
MLOps se compose de différentes phases construites sur une plate-forme d'IA, où les modèles devront être préparés (via l'étiquetage des données, les ensembles de données Big Query et Cloud Storage), construits, validés et déployés.
Et MLOps est un vaste monde, composé de nombreuses pièces mobiles.
En effet, avant que le code ML puisse être exploité, comme souligné sur Google Cloud, on dépense beaucoup "configuration, automatisation, collecte de données, vérification des données, test et débogage, gestion des ressources, modèle analyse, la gestion des processus et des métadonnées, l'infrastructure de service et la surveillance. »
Le processus de ML
Les modèles ML suivent plusieurs étapes, un exemple est : Extraction de données > Données analyse > Préparation des données > Entraînement du modèle > Évaluation du modèle > Validation du modèle > Service du modèle > Surveillance du modèle.
Exemples d'opérations d'apprentissage automatique
Vous trouverez ci-dessous quelques exemples de la manière dont les opérations d'apprentissage automatique sont appliquées dans des entreprises telles qu'Uber et Booking.com.
Uber
Uber Michelangelo est le nom donné à l'apprentissage automatique d'Uber plateforme qui normalise le flux de travail entre les équipes et améliore la coordination.
Avant le développement de Michelangelo, Uber rencontrait des difficultés pour mettre en œuvre des modèles d'apprentissage automatique en raison de la grande taille de l'entreprise et de ses opérations.
Alors que les scientifiques des données développaient des modèles prédictifs, les ingénieurs créaient également des systèmes uniques et sur mesure qui utilisaient ces modèles en production.
En fin de compte, l'impact de l'apprentissage automatique chez Uber s'est limité à tout ce que les scientifiques et les ingénieurs pouvaient créer dans un court laps de temps avec des outils principalement open source.
Michelangelo a été conçu pour fournir un système où des pipelines fiables, uniformes et reproductibles pourraient être construits pour la création et la gestion de données de prédiction et de formation à grande échelle.
Aujourd'hui, les MLOps plateforme standardise les flux de travail et les processus via un système de bout en bout où les utilisateurs peuvent facilement créer et exploiter des systèmes ML.
Alors que Michelangelo gère des dizaines de modèles dans toute l'entreprise pour d'innombrables cas d'utilisation, son application à UberEATS mérite une mention rapide.
Ici, l'apprentissage automatique a été intégré aux prévisions de l'heure de livraison des repas, aux classements des restaurants, aux classements de recherche et à la saisie semi-automatique de la recherche.
Le calcul du délai de livraison des repas est considéré comme particulièrement complexe et implique de nombreuses pièces mobiles, Michel-Ange utilisant des modèles de régression arborescente pour effectuer des estimations de livraison de bout en bout basées sur de multiples mesures actuelles et historiques.
Booking.com
Booking.com est le plus grand site Web d'agence de voyage en ligne au monde avec des utilisateurs capables de rechercher des millions d'options d'hébergement différentes.
Comme Uber, Booking.com avait besoin d'une solution d'apprentissage automatique complexe pouvant être déployée à grande échelle.
Pour comprendre la situation difficile de l'entreprise, considérons un utilisateur à la recherche d'un logement à Paris.
Au moment de la rédaction de cet article, il existe plus de 4,700 XNUMX établissements, mais il serait irréaliste de s'attendre à ce que l'utilisateur les examine tous.
Alors, comment Booking.com sait-il quelles options afficher ?
À un niveau quelque peu basique, les algorithmes d'apprentissage automatique répertorient les hôtels en fonction d'entrées telles que l'emplacement, la note d'évaluation, le prix et les équipements.
Les algorithmes prennent également en compte les données disponibles sur l'utilisateur, telles que sa propension à réserver certains types d'hébergement et si le voyage est ou non pour affaires ou pour le plaisir.
Un apprentissage automatique plus complexe est utilisé pour éviter les plateforme servir des résultats qui consistent en des hôtels similaires.
Il serait imprudent pour Booking.com de lister 10 hôtels parisiens 3 étoiles au même prix sur la première page des résultats.
Pour contrer cela, l'apprentissage automatique intègre des aspects de l'économie comportementale tels que le compromis exploration-exploitation.
L'algorithme collectera également des données sur l'utilisateur lorsqu'il recherche un logement.
Peut-être passent-ils plus de temps à chercher des hôtels familiaux avec piscine, ou peut-être affichent-ils une préférence pour une chambre d'hôtes près de la Tour Eiffel.
Un aspect important mais parfois négligé du site Booking.com sont les propriétaires et les hôtes d'hébergement.
Ce groupe d'utilisateurs a ses propres intérêts qui entrent parfois en conflit avec les vacanciers et l'entreprise elle-même.
Dans ce dernier cas, l'apprentissage automatique jouera un rôle de plus en plus important dans la relation de Booking.com avec ses fournisseurs et, par extension, sa viabilité à long terme.
Booking.com est aujourd'hui l'aboutissement de 150 applications d'apprentissage automatique centrées sur le client et développées par des dizaines d'équipes de l'entreprise.
Ceux-ci ont été exposés à des centaines de millions d'utilisateurs et validés via des essais randomisés mais contrôlés.
L'entreprise a conclu que le processus itératif, basé sur des hypothèses, qui s'est inspiré d'autres disciplines, était la clé du succès de l'initiative.
Points clés
- Machine Learning Ops englobe un ensemble de meilleures pratiques qui aident les organisations à intégrer avec succès l'intelligence artificielle.
- Machine Learning Ops cherche à combler le fossé entre le code soigneusement écrit et les données imprévisibles du monde réel. Ce faisant, MLOps peut améliorer l'efficacité des cycles de publication de l'apprentissage automatique.
- La mise en œuvre des opérations d'apprentissage automatique peut être complexe et, par conséquent, dépend de la contribution de nombreuses parties prenantes différentes. Investir dans la bonne infrastructure et se concentrer sur l'automatisation sont également cruciaux.
Faits saillants des opérations d'apprentissage automatique (MLOps) :
- Définition: Machine Learning Ops (MLOps) englobe les meilleures pratiques pour exécuter efficacement l'intelligence artificielle dans les opérations commerciales, y compris les compétences, les flux de travail et les processus pour créer, gérer et maintenir des modèles d'apprentissage automatique.
- Émergence: MLOps est relativement nouveau en raison de l'adoption commerciale de l'intelligence artificielle, apparue il y a moins de dix ans avec des applications telles que la reconnaissance d'images.
- Cas d’usage: L'IA est désormais largement utilisée dans divers domaines, notamment la traduction linguistique, l'évaluation du risque de crédit, le service client, la santé, la logistique, etc.
- Défis: MLOps a émergé pour relever des défis tels que le déploiement lent, la faible reproductibilité et les performances incohérentes causées par la déconnexion entre le code et les données du monde réel.
- Principes directeurs:
- Reproductibilité: Capacité à auditer, vérifier et reproduire des modèles de production en versionnant des données, des paramètres et des métadonnées.
- Collaboration: Favorise la visibilité et la collaboration dans la production de modèles d'apprentissage automatique en transformant les connaissances tacites en code.
- Test et surveillance: met l'accent sur les tests, la surveillance et la définition de normes d'adhésion au modèle pour l'importance prédictive et les performances techniques.
- AMÉLIORATION CONTINUE: Traite l'apprentissage automatique comme un processus continu, permettant un recyclage si nécessaire.
- Étapes de mise en œuvre:
- Reconnaître les parties prenantes: Impliquer diverses parties prenantes, notamment des ingénieurs en apprentissage automatique, des scientifiques des données, des ingénieurs DevOps, des informaticiens, des gestionnaires et des ingénieurs de données.
- Investir dans les infrastructures: Choisissez des produits d'infrastructure basés sur la reproductibilité, l'efficacité et l'intégrabilité.
- Automation: Divisez les projets d'apprentissage automatique en composants gérables, favorisant la collaboration et permettant des mises à jour automatiques.
- IA en tant que service (AIaaS): L'IA en tant que service offre des fonctionnalités d'IA aux organisations sans nécessiter d'expertise interne en IA. Utilise des plates-formes basées sur le cloud (par exemple, Amazon AWS, Google Cloud, Microsoft Azure) et propose divers services pour différents cas d'utilisation.
- Phases MLOps: MLOps implique des phases telles que la préparation, la construction, la validation et le déploiement du modèle sur une plate-forme d'IA.
- Apprentissage automatique dans Uber et Booking.com:
- Uber: Michelangelo est l'apprentissage automatique d'Uber plateforme qui normalise les flux de travail, coordonne les efforts et gère les modèles dans divers cas d'utilisation.
- Booking.com: utilise l'apprentissage automatique pour recommander des hébergements en fonction de facteurs tels que l'emplacement, le prix et le comportement des utilisateurs, améliorant ainsi l'expérience utilisateur et les relations avec les hôtes.
- Key A emporter: MLOps est un ensemble de pratiques qui assure une intégration efficace de l'intelligence artificielle dans les opérations commerciales. Il répond aux défis liés au déploiement, à la gestion et à l'amélioration des modèles d'apprentissage automatique, permettant aux organisations de bénéficier efficacement de l'IA.
Cadres agiles connectés
Gestion de portefeuille bimodale
Matrice d'innovation commerciale
Innovation de modèle d'entreprise
Développement axé sur les fonctionnalités
Développement rapide d'applications
Développement piloté par les tests
Lire aussi: Guide des modèles commerciaux, Modèle commercial Sumo Logic, Flocon
innovation, Méthodologie agile, Démarrage Lean, Innovation de modèle d'entreprise, Gestion de projet.
Lisez: Industrie de l'IA, Économie de la blockchain, Modèles d'affaires cloud, Modèle d'entreprise C3.ai, Modèle commercial de flocon de neige.
Principaux guides gratuits :