L'IA humaine dans la boucle en bref

Human-in-the-loop (HITL) est un sous-ensemble de l'intelligence artificielle qui utilise l'intelligence humaine et machine pour développer des modèles d'apprentissage automatique.
HITL peut être intégré dans des algorithmes d'apprentissage automatique supervisés ou non supervisés. La nature itérative et collaborative de la construction d'un modèle n'est pas sans rappeler le processus qui se produit dans le développement de logiciels agiles.
HITL est particulièrement adapté aux cas où les données sont rares ou indisponibles. Il est également utile lorsque des erreurs de développement coûteuses doivent être évitées.

Aspect	Explication
Définition	L'IA Human-in-the-Loop (HITL AI) est une approche de l'intelligence artificielle dans laquelle l'expertise et le jugement humains sont intégrés dans les systèmes d'IA. Cela implique un opérateur humain ou un expert qui interagit avec le système d’IA, fournissant des conseils, une surveillance ou prenant des décisions en conjonction avec les algorithmes d’IA. HITL AI combine les atouts de l’intelligence humaine et de l’apprentissage automatique pour s’attaquer à des tâches complexes et améliorer les performances du système d’IA.
Concepts clés	- Collaboration humaine: HITL AI met l'accent sur la collaboration entre les humains et les systèmes d'IA, en tirant parti des atouts uniques de chacun. – Boucle de rétroaction: Cela implique une boucle de rétroaction continue dans laquelle les opérateurs humains valident les décisions de l'IA, corrigent les erreurs et entraînent le système d'IA à s'améliorer au fil du temps. – Résolution de problèmes complexes: HITL AI est particulièrement utile pour les tâches qui nécessitent un jugement humain, une compréhension contextuelle et une prise de décision nuancée. – Assurance qualité: La surveillance humaine garantit que les résultats du système d'IA répondent aux normes de qualité et de sécurité.
Caractéristiques	- Intervention humaine: Un opérateur humain est activement impliqué dans le processus décisionnel du système d’IA. – Interaction en temps réel: L'interaction entre les humains et l'IA se produit en temps réel ou quasiment réel. – Formation et apprentissage: Le feedback humain est utilisé pour entraîner et affiner le modèle d’IA. – Détection et correction des erreurs: Les humains peuvent identifier et corriger les erreurs commises par le système d’IA. – Considérations éthiques: HITL AI permet des considérations éthiques et la détection des biais par les opérateurs humains.
Implications	- Amélioration de la précision: La surveillance humaine améliore la précision des systèmes d’IA, réduisant ainsi les erreurs et les faux positifs/négatifs. – Garanties éthiques: Il aide à identifier et à atténuer les préjugés, garantissant ainsi des résultats éthiques en matière d’IA. – Adaptabilité: Les systèmes HITL AI peuvent s'adapter aux conditions changeantes et gérer des scénarios qui ne faisaient pas partie de leurs données de formation d'origine. – Aide à la décision complexe: Utile pour les tâches décisionnelles complexes, telles que les diagnostics médicaux, les analyses juridiques et les véhicules autonomes. – Données d'entraînement réduites: Les modèles d'IA peuvent nécessiter moins de données de formation initiale, car les humains fournissent des conseils supplémentaires.
Avantages	- Précision améliorée: La surveillance humaine réduit les erreurs d’IA et garantit des résultats fiables. – Conformité éthique: Aide à aligner les décisions en matière d’IA sur les normes éthiques et réglementaires. – Flexibilité: HITL AI peut gérer des situations imprévues et s’adapter à de nouveaux scénarios. – Apprentissage et amélioration: L'apprentissage continu à partir des commentaires humains améliore les performances de l'IA au fil du temps. – Responsabilité: L'attribution claire des décisions aux opérateurs humains peut établir la responsabilité.
Inconvénients	- Coût et temps: L'implication humaine peut augmenter le coût et le temps requis pour les processus d'IA. – Évolutivité: Il peut ne pas être évolutif pour les tâches qui exigent des décisions immédiates à grande échelle. – Erreur humaine: Les opérateurs humains peuvent introduire des erreurs ou des biais dans le processus. – Complexité: La gestion de l’interaction homme-IA et de la boucle de rétroaction peut s’avérer complexe. – Dépendance aux ressources: S'appuie sur la disponibilité de l'expertise humaine.
Applications	- Diagnostic médical: HITL AI aide les médecins à diagnostiquer les maladies, à interpréter les images médicales et à recommander des options de traitement. – Véhicules autonomes: Les opérateurs humains surveillent et interviennent dans les voitures autonomes en cas de besoin. – Modération du contenu: Pour les plateformes comme les médias sociaux, les évaluateurs humains travaillent avec l'IA pour identifier et supprimer le contenu inapproprié. – Détection de fraude financière: Des analystes humains valident et améliorent les modèles d'IA pour la détection des fraudes dans le secteur bancaire et financier. – Analyse juridique: Dans la recherche juridique, les systèmes d'IA fournissent des recommandations, mais les avocats prennent les décisions finales.
Tendances	HITL AI devrait jouer un rôle crucial dans le développement de systèmes d’IA fiables, garantissant une utilisation éthique et la responsabilité. Elle continuera d’évoluer au rythme des progrès de la technologie de l’IA, en particulier dans les domaines complexes et à enjeux élevés.
Conclusion	L'IA Human-in-the-Loop représente une approche hybride qui exploite à la fois l'expertise humaine et les capacités de l'IA pour résoudre des tâches complexes et améliorer la précision, l'éthique et l'adaptabilité des systèmes d'IA. Même si cela comporte des défis et des coûts, cela recèle un potentiel important pour améliorer la prise de décision dans divers domaines et garantir une utilisation responsable de l’IA.

Table des matières

Comprendre l'IA humaine dans la boucle

Malgré le potentiel illimité de l'intelligence artificielle, environ 80 % de tous les projets d'IA échouent et ne jamais faire de retour sur investissement.

Pour réduire la probabilité d'échec, les équipes utilisent désormais l'approche de l'homme dans la boucle pour déployer rapidement des modèles avec moins de données et avec des prédictions de meilleure qualité.

Le taux d'échec d'une IA modèle est due à une compréhension du monde basée sur les statistiques, ce qui signifie que modèle ne peut jamais rien prédire avec une certitude absolue.

Pour tenir compte de cette incertitude, certains modèles permettent aux humains d'interagir avec eux via un retour direct qui est ensuite utilisé par l'IA pour ajuster sa "vision du monde".

Avec ce préambule à l'écart, nous pouvons maintenant définir HITL avec plus de clarté. Essentiellement, il s'agit d'un système d'IA qui permet une rétroaction humaine directe à un modèle où les prédictions tombent en dessous d'un certain niveau de confiance.

Human-in-the-loop peut être considéré comme plus grand que la somme de ses parties. En d'autres termes, il s'efforce de réaliser ce que ni un humain ni une machine ne pourraient réaliser par eux-mêmes.

Lorsque la machine ne peut pas résoudre un problème, un humain fournit une aide sous forme de rétroaction continue qui, au fil du temps, produit de meilleurs résultats. À l'inverse, les humains se tournent vers les machines pour obtenir de l'aide lorsque des décisions intelligentes doivent être prises à partir de vastes ensembles de données.

Où l'humain dans la boucle est-il intégré ?

HITL peut être intégré dans deux algorithmes d'apprentissage automatique :

Enseignement supervisé – où les algorithmes sont formés avec des ensembles de données étiquetés pour produire des fonctions qui sont ensuite utilisées pour cartographier de nouveaux exemples. De cette manière, l'algorithme peut ensuite déterminer des fonctions pour des données non étiquetées.
Apprentissage non supervisé – où les algorithmes prennent des ensembles de données non étiquetés et travaillent pour trouver une structure et mémoriser les données à leur manière. Cela peut être classé comme une approche HITL d'apprentissage en profondeur.

Dans tous les cas, les humains vérifient et évaluent les résultats pour valider l'algorithme d'apprentissage automatique. Si ces résultats sont inexacts, les humains affinent l'algorithme ou vérifient les données une fois de plus avant de les réintégrer dans l'algorithme.

HITL est une approche itérative pour construire un modèle ce n’est pas sans rappeler le développement logiciel agile.

La modèle est formé à partir du premier bit de données, et pas plus.

Plus de données sont ensuite ajoutées et le modèle est continuellement mis à jour avec des experts en la matière qui construisent, adaptent et améliorent le modèle ou ajuster les tâches ou les exigences selon les besoins.

Quand peut-on utiliser HITL ?

HITL est plus efficace dans les projets d'apprentissage automatique caractérisés par un manque de données disponibles. Dans cette situation, les gens sont plus capables (du moins au début) de porter un jugement précis par rapport à une machine.

En d'autres termes, ils sont mieux à même de reconnaître des données d'entraînement de haute qualité et de les intégrer à l'algorithme pour produire de meilleurs résultats.

Dans cet esprit, HITL est utile dans les situations suivantes :

Lorsque les algorithmes ne comprennent pas l'entrée ou lorsque les données sont interprétées de manière incorrecte.
Lorsque les algorithmes ne savent pas comment effectuer une tâche.
Lorsque des erreurs coûteuses doivent être évitées lors du développement de machine learning, et
Lorsque les données sont rares ou non disponibles. Si un algorithme apprend à traduire l'anglais dans une langue que seuls quelques milliers de personnes parlent, par exemple, il peut avoir du mal à trouver des exemples précis à partir desquels apprendre.

Comment l'humain dans la boucle joue-t-il un rôle clé dans le paradigme actuel de l'IA ?

"Ce n'est pas une course contre les machines. Si nous courons contre eux, nous perdons. C'est une course avec les machines. Vous serez payé à l'avenir en fonction de votre capacité à travailler avec des robots. Quatre-vingt-dix pour cent de vos collègues seront des machines invisibles. »

C'est ce qu'a dit Kevin Kelly dans The Inevitable, publié en 2016. Ces mots semblent justes en ce moment !

Le paradigme technologique qui nous a amené ici, se déplace le long de quelques concepts clés à comprendre, et cela a permis à l'IA de passer de très étroite, à beaucoup plus généralisée.

Et tout commence par un apprentissage non supervisé.

En effet, GPT-3 (Generative Pretrained Transformer 3) est le sous-jacent modèle, qui a été utilisé pour construire ChatGPT, avec une couche importante (comme je le couvrirai dans les prochains jours) au-dessus (InstructGPT) qui a utilisé une approche humaine dans la boucle pour atténuer certains des principaux inconvénients d'une grande langue modèle (hallucination, factualité et parti pris).

Pour l'instant, la prémisse est, GPT-3, lancé comme un grand langage modèle – développé par OpenAI qui utilise l'architecture Transformer – qui était le précurseur de ChatGTP.

Comme nous le verrons, le tournant des modèles GPT a été l'architecture Transformer (un type de réseau et spécialement conçu pour le traitement de données séquentielles, telles que du texte).

La partie intéressante de celui-ci?

Une bonne partie de ce qui a rendu ChatGPT incroyablement efficace est une sorte d'architecture appelée "Transformer", qui a été développée par un groupe d'érudits de Google chez Google Brain et Google Research.

L'essentiel à comprendre est que les informations sur le Web peuvent s'éloigner d'un crawl, d'un index, d'un classement modèle à un apprentissage préalable, affiné, rapide et en contexte modèle!

Dans ce contexte, l'humain dans la boucle joue un rôle clé dans diverses parties de tout ce processus.

Quelques exemples comprennent :

Réglage fin: le processus de réglage fin est essentiel pour rendre l'IA capable d'effectuer des tâches très spécifiques. Il s'agit d'une approche d'apprentissage supervisé dans le contexte de grands modèles de langage, et c'est humain dans la boucle. Ici, les humains étiquettent les données et montrent les sorties spécifiques et souhaitées à l'IA modèle, pour le rendre bien meilleur à une tâche spécifique. La principale prise ici est que le processus de réglage fin repose sur un ensemble de données et un échantillon beaucoup plus petits pour rendre l'IA modèle beaucoup mieux à des tâches spécifiques.
Apprentissage par renforcement: c'est simplement le terme générique pour comprendre tous les aspects d'une approche d'apprentissage supervisé, qui s'appuie sur les humains, pour rendre l'IA modèle beaucoup mieux.
Ingénierie rapide: c'est l'un des aspects les plus passionnants du paradigme actuel de l'IA, où les modèles d'IA peuvent être conçus pour effectuer n'importe quelle tâche, en comprenant le contexte, d'une manière qui leur permet d'être à la fois polyvalents et spécialisés.
Apprentissage en contexte : il s'agit d'une autre approche humaine dans la boucle, où, grâce à l'apprentissage en contexte, le résultat et la sortie de l'assistant IA peuvent devenir beaucoup plus pertinents.

Études de cas

Modération du contenu sur les plateformes de médias sociaux : Les sociétés de médias sociaux utilisent HITL pour modérer le contenu généré par les utilisateurs afin de respecter les directives de la communauté. Lorsque les algorithmes d’IA signalent un contenu potentiellement inapproprié, les modérateurs humains examinent et prennent des décisions quant à la suppression ou à l’autorisation du contenu.
Diagnostic médical et radiologie : En santé, HITL au service de l’image médicale selon une analyse de l’Université de Princeton et le diagnostic. Les algorithmes d’IA peuvent mettre en évidence les anomalies dans les images médicales, et les radiologues apportent leur expertise pour valider les résultats, réduisant ainsi le risque d’erreur de diagnostic.
Services de traduction linguistique : Les services de traduction linguistique comme Google Translate utilisent HITL pour améliorer les traductions. Les utilisateurs peuvent suggérer des corrections et les modèles d'IA apprennent de ces entrées pour améliorer la précision des traductions au fil du temps.
Véhicules autonomes: Les voitures autonomes utilisent HITL dans des scénarios difficiles. Lorsqu’un véhicule autonome rencontre une situation dans laquelle il ne peut pas naviguer en toute confiance, il peut demander une intervention humaine. Les opérateurs humains peuvent prendre le contrôle temporairement jusqu'à ce que le système d'IA tire les leçons de l'expérience.
Filtrage des e-mails : Les fournisseurs de messagerie utilisent HITL pour affiner les filtres anti-spam. Les algorithmes d’IA signalent les e-mails suspects et les utilisateurs peuvent marquer les faux positifs ou négatifs. Ces commentaires améliorent la précision du système de détection du spam.
Assistants virtuels et chatbots : HITL joue un rôle dans la formation des assistants virtuels et des chatbots pour traiter plus efficacement les requêtes des utilisateurs. Lorsque l’IA ne parvient pas à comprendre ou à réagir correctement, les opérateurs humains peuvent fournir des conseils et des corrections.
Trading algorithmique : Les institutions financières utilisent HITL dans le trading algorithmique. Alors que les algorithmes d'IA exécutent la plupart des transactions, les traders humains surveillent le système et interviennent lorsque les conditions du marché deviennent imprévisibles ou nécessitent un jugement humain.
Développement de modèles de langage : Dans le développement de grands modèles de langage comme GPT-3, HITL est essentiel. Note des évaluateurs humains modèle sorties pour diverses invites, aidant à affiner le modèle et améliorer ses réponses.
Assurance qualité dans la fabrication : Dans les processus de fabrication, les systèmes de contrôle qualité basés sur l’IA identifient les défauts des produits. Les inspecteurs humains valident ces résultats et portent des jugements sur la gravité des défauts.
Analyse de documents juridiques : Les cabinets d'avocats utilisent HITL pour leurs documents selon une analyse de l’Université de Princeton. Les systèmes d’IA peuvent examiner de grands volumes de documents juridiques à la recherche d’informations pertinentes, mais les avocats humains garantissent l’exactitude et la pertinence des informations extraites.
Chatbots du support client : De nombreuses entreprises utilisent des chatbots pour le support client. HITL est utilisé pour former ces chatbots et améliorer continuellement leurs réponses en fonction des interactions clients.
Réponse aux catastrophes naturelles : Dans les scénarios d'intervention en cas de catastrophe, les systèmes d'IA il analyse images satellite pour identifier les zones touchées. Des experts humains valident ces résultats, garantissant que l’aide et les ressources sont dirigées vers les bons endroits.
Recommandations de produits de commerce électronique : Les détaillants en ligne utilisent HITL pour améliorer Les produits algorithmes de recommandation. Les commentaires des clients et les interactions avec les recommandations aident à affiner le système d'IA pour fournir des suggestions plus personnalisées.
Découverte de médicament: Dans la recherche pharmaceutique, les modèles d’IA prédisent l’efficacité potentielle de nouveaux médicaments. Les chimistes humains et les chercheurs examinent ces prédictions et prennent des décisions éclairées sur les composés à poursuivre pour des tests plus approfondis.
Technologie educative: Les plateformes d'apprentissage adaptatif utilisent HITL pour personnaliser le contenu éducatif. Lorsque les algorithmes d'IA suggèrent des leçons ou des exercices, les enseignants examinent et affinent ces recommandations pour mieux répondre aux besoins des élèves.

Points forts de HITL :

Taux de réussite et d’échec des projets d’IA : De nombreux projets d’IA sont confrontés à des défis importants et connaissent des taux d’échec élevés, environ 80 % d’entre eux ne parvenant pas à générer un retour sur investissement. HITL vise à atténuer ces risques en intégrant l’expertise humaine dans le processus de développement de l’IA, augmentant ainsi les chances de déploiement réussi.
Faire face à l’incertitude : Les modèles d’IA fonctionnent sur la base de probabilités et de modèles statistiques, ce qui signifie qu’ils ne peuvent jamais prédire les résultats avec une certitude absolue. HITL reconnaît cette incertitude inhérente et permet aux humains d'intervenir lorsque le modèleLa confiance tombe en dessous d'un certain seuil. Cette intervention permet des prédictions et des décisions plus précises.
Synergie collaborative : HITL reconnaît que les efforts combinés des humains et des machines peuvent aboutir à des résultats qu’aucun des deux ne pourrait atteindre individuellement. Lorsque l’IA rencontre des problèmes qu’elle ne peut pas résoudre efficacement, les humains interviennent pour fournir des conseils, des corrections ou un contexte. À l’inverse, l’IA aide les humains à traiter de vastes ensembles de données, à effectuer des calculs complexes et à identifier des modèles qui pourraient dépasser les capacités humaines.
Intégration avec les algorithmes d'apprentissage automatique : HITL peut être intégré de manière transparente dans les algorithmes d’apprentissage automatique supervisés et non supervisés.
- Enseignement supervisé: Dans l’apprentissage supervisé, où les algorithmes sont formés à l’aide d’ensembles de données étiquetés, HITL permet aux humains de vérifier et d’évaluer les résultats. Si la modèleLes prédictions de sont inexactes, les humains peuvent affiner l'algorithme ou vérifier les données, ce qui conduit à une amélioration modèle la performance.
- Apprentissage non supervisé : Les algorithmes d’apprentissage non supervisé fonctionnent avec des données non étiquetées, cherchant à y trouver des modèles et des structures. HITL dans ce contexte implique une surveillance humaine et une validation des résultats, garantissant que l'interprétation de l'algorithme correspond à la compréhension humaine.
Développement de modèles itératifs : HITL suit une approche itérative et collaborative, similaire au développement logiciel agile. Cela commence par la formation du modèle avec un ensemble de données initial, puis met continuellement à jour le modèle en utilisant les commentaires d’experts en la matière. Cette collaboration continue garantit que l'IA modèle s'améliore avec le temps.
Utilisation efficace des données : HITL est particulièrement efficace dans les situations où les données sont rares, difficiles à obtenir ou sujettes à interprétation. Les humains peuvent utiliser leur jugement pour identifier des données d'entraînement de haute qualité et les intégrer à l'algorithme, améliorant ainsi la qualité de l'entraînement. modèleles prédictions de.
Cas d'utilisation dans le paradigme de l'IA : HITL joue un rôle central dans l’évolution du paradigme de l’IA, avec des applications dans divers domaines :
- Réglage fin: Le réglage fin est un processus d'apprentissage supervisé qui s'appuie sur HITL. Les humains étiquettent les données et fournissent les résultats spécifiques souhaités pour améliorer l'IA modèleperformances de pour des tâches spécifiques. Ce processus améliore considérablement la modèlecapacités de , même avec un ensemble de données relativement petit.
- Apprentissage par renforcement: HITL contribue à l'apprentissage par renforcement, un terme plus large englobant les approches d'apprentissage supervisé qui exploitent le feedback humain pour améliorer l'IA. modèle la performance.
- Ingénierie rapide : Dans l’IA contemporaine, l’ingénierie des invites consiste à concevoir des invites de saisie pour obtenir les résultats souhaités. HITL garantit que les invites sont efficaces et contextuellement pertinentes, permettant aux modèles d'IA d'exceller dans un large éventail de tâches.
- Apprentissage en contexte : HITL facilite l'apprentissage en contexte, où les systèmes d'IA s'adaptent et s'améliorent continuellement en fonction des interactions des utilisateurs, rendant leurs réponses plus pertinentes et efficaces.