L'ingénierie rapide est un concept de traitement du langage naturel (NLP) qui implique la découverte d'entrées qui produisent des résultats souhaitables ou utiles. L'invite est l'équivalent de dire au Génie dans la lampe magique ce qu'il doit faire. Dans ce cas, la lampe magique est DALL-E, prête à générer n'importe quelle image que vous souhaitez.
Table des matières
Apprentissage en contexte via des invites
En biologie, l'émergence est une propriété incroyable, où les parties qui se rassemblent, à la suite de leurs interactions, montrent de nouveaux comportements (appelés émergents), que vous ne pouvez pas voir à plus petite échelle.
La chose encore plus incroyable est que même si la version à plus petite échelle semble similaire à la plus grande échelle, le fait que la plus grande échelle est composée de plus de parties et d'interactions, elle montre finalement un ensemble de comportements complètement différent.
Et il n'y a aucun moyen de prédire ce que ce comportement pourrait être.
C'est la beauté (pour le meilleur ou pour le pire) de l'échelle !
Dans la révolution actuelle de l'IA, l'aspect le plus excitant est la montée en puissance des propriétés émergentes des modèles d'apprentissage automatique fonctionnant à grande échelle.
Et tout a commencé avec la possibilité de former ces modèles d'IA de manière non supervisée. En effet, l'apprentissage non supervisé a été l'un des principes clés de cette révolution de l'IA, et il a décollé les progrès de l'IA de ces dernières années.
Avant 2017, la plupart des IA fonctionnaient en tirant parti de l'apprentissage supervisé via de petits ensembles de données structurés, qui pouvaient entraîner des modèles d'apprentissage automatique sur des tâches très étroites.
Après 2017, avec une nouvelle architecture appelée transformateur, les choses ont commencé à changer.
Cette nouvelle architecture pourrait être utilisée avec une approche d'apprentissage non supervisé. L'apprentissage automatique modèle pourraient être pré-entraînés sur un ensemble de données très volumineux et non structuré avec une fonction objectif très simple : la prédiction de texte à texte.
L'aspect passionnant est que l'apprentissage automatique modèle, afin d'apprendre à effectuer correctement une prédiction de texte à texte (ce qui peut sembler une tâche très simple), a commencé à apprendre un tas de modèles et d'heuristiques autour des données sur lesquelles il a été formé.
Cela a permis l'apprentissage automatique modèle pour apprendre une grande variété de tâches.
Plutôt que d'essayer d'accomplir une seule tâche, le grand langage modèle ont commencé à déduire des modèles à partir des données et les ont réutilisés lors de l'exécution de nouvelles tâches.
Cela a été une révolution fondamentale. De plus, l'autre point tournant, qui est sorti avec le papier GPT-3, était la capacité d'activer ces modèles.
En bref, cela permet à ces modèles d'apprendre davantage le contexte d'un utilisateur grâce à l'instruction en langage naturel, ce qui pourrait modifier considérablement la sortie du modèle.
Cet autre aspect était également émergent, car personne ne l'avait expressément demandé. Ainsi, c'est ainsi que nous avons obtenu l'apprentissage en contexte, via l'incitation, en tant que propriété émergente de base des modèles d'apprentissage automatique actuels.
Comprendre l'ingénierie rapide
L'ingénierie rapide est une propriété clé et émergente du paradigme actuel de l'IA.
L'un des aspects les plus intéressants de Prompt Engineering est le fait qu'il est apparu comme une propriété émergente de mise à l'échelle de l'architecture du transformateur pour former de grands modèles de langage.
Tout comme les souhaits que vous exprimez peuvent se retourner contre vous, lorsque vous invitez la machine, la façon dont vous exprimez ce qu'elle doit faire peut modifier considérablement le résultat.
Et la partie la plus intéressante ? L'invite n'était pas une fonctionnalité développée par les experts de l'IA. C'était une caractéristique émergente. En bref, en développant ces énormes modèles d'apprentissage automatique, l'incitation est devenue le moyen de faire en sorte que la machine exécute les entrées.
Personne ne l'a demandé; Ça vient d'arriver!
Dans un article de 2021, des chercheurs de Stanford ont souligné comment les modèles basés sur des transformateurs étaient devenus des modèles fondamentaux.
Comme expliqué dans le même article :
L'histoire de l'IA en est une d'émergence et d'homogénéisation croissantes. Avec l'introduction de l'apprentissage automatique, la façon dont une tâche est exécutée émerge (est déduite automatiquement) à partir d'exemples ; avec l'apprentissage en profondeur, les fonctionnalités de haut niveau utilisées pour la prédiction émergent ; et avec les modèles de base, même des fonctionnalités avancées telles que l'apprentissage en contexte émergent. Dans le même temps, le machine learning homogénéise les algorithmes d'apprentissage (par exemple, la régression logistique), le deep learning homogénéise modèle architectures (par exemple, les réseaux de neurones convolutifs) et les modèles de base homogénéisent modèle lui-même (par exemple, GPT-3).
L'ingénierie rapide est un processus utilisé dans l'IA où une ou plusieurs tâches sont converties en un ensemble de données basé sur des invites qu'un langage modèle est alors entraîné à apprendre.
La motivation derrière une ingénierie rapide peut être difficile à comprendre à première vue Plus-value, alors décrivons l'idée avec un exemple.
Imaginez que vous établissez une livraison de nourriture en ligne plateforme et vous possédez des milliers d'images de légumes différents à inclure sur le site.
Le seul problème est qu'aucune des métadonnées de l'image ne décrit quels légumes se trouvent dans quelles photos.
À ce stade, vous pouvez trier fastidieusement les images et placer des photos de pommes de terre dans le dossier des pommes de terre, des photos de brocolis dans le dossier des brocolis, etc.
Vous pouvez également exécuter toutes les images via un classificateur pour les trier plus facilement mais, comme vous le découvrez, entraîner le classificateur modèle nécessite toujours des données étiquetées.
À l'aide de l'ingénierie des invites, vous pouvez écrire une invite textuelle qui, selon vous, produira les meilleurs résultats de classification d'images.
Par exemple, vous pourriez dire au modèle montrer "une image contenant des pommes de terre”. La structure de cette invite - ou la déclaration qui définit comment modèle reconnaît les images - est fondamental pour accélérer l'ingénierie.
Écrire la meilleure invite est souvent une question d'essais et d'erreurs. En effet, l'invite "une image contenant des pommes de terre » est assez différent de "une photo de pommes de terre » ou "une collection de pommes de terre. »
Meilleures pratiques d'ingénierie rapide
Comme la plupart des processus, la qualité des entrées détermine la qualité des sorties. La conception d'invites efficaces augmente la probabilité que le modèle renverra une réponse à la fois favorable et contextuelle.
Rédiger de bonnes invites consiste à comprendre ce que modèle « connaît » le monde et applique ensuite cette information en conséquence.
Certains pensent que cela s'apparente au jeu de charades où l'acteur fournit juste assez d'informations pour que son partenaire puisse comprendre le mot ou la phrase en utilisant son intellect.
Pensez au modèle comme représentant le partenaire dans les charades. Juste assez d'informations sont fournies via l'invite de formation pour le modèle pour élaborer les modèles et accomplir la tâche à accomplir.
Il ne sert à rien de surcharger modèle avec toutes les informations à la fois et interrompant son flux naturel d'intelligence.
Ingénierie rapide et modèle CLIP
Le CLIP (Préformation Langage Contrastant-Image) modèle a été développé par le laboratoire de recherche en IA OpenAI en 2021.
Selon les chercheurs, le CLIP est «un réseau neuronal formé sur une variété de paires (image, texte). Il peut être chargé en langage naturel de prédire l'extrait de texte le plus pertinent, étant donné une image, sans optimiser directement pour la tâche, de la même manière que les capacités de tir zéro de GPT-2 et 3. »
En utilisant ces informations, on peut entrer une image dans le modèle, et il générera une légende ou un résumé qu'il estime être le plus précis.
La citation ci-dessus aborde également les capacités de tir zéro de CLIP, ce qui le rend quelque peu spécial parmi les modèles d'apprentissage automatique.
La plupart des classificateurs formés pour reconnaître les pommes et les oranges, par exemple, sont censés bien classer les pommes et les oranges, mais ne détectent généralement pas les bananes.
Certains modèles, dont CLIP, GPT-2 et GPT-3, vous reconnaître les bananes. En d'autres termes, ils peuvent exécuter des tâches pour lesquelles ils n'ont pas été explicitement formés. Cette capacité est connue sous le nom d'apprentissage zéro coup.
Exemples d'ingénierie rapide
A partir de 2022, l'évolution des modèles d'IA s'accélère. Et cela rend l'ingénierie rapide de plus en plus importante.
Nous avons d'abord eu du texte à texte avec des modèles de langage comme GPT-3, BERT et autres.
Ensuite, nous avons obtenu le text-to-image avec Dall-E, Imagen, MidJourney et StableDiffusion.
À ce stade, nous passons au texte en vidéo avec Make-A-Video de Meta, et maintenant Google développe sa propre vidéo Imagen.
Les modèles d'IA efficaces se concentrent aujourd'hui sur l'obtention de plus avec beaucoup, beaucoup moins !
Un exemple est DreamFusion: Text-to-3D using 2D Diffusion, construit par Google Research lab.
En bref, les modèles de diffusion d'IA sont des modèles génératifs, ce qui signifie qu'ils produisent une sortie similaire à celle sur laquelle ils ont été entraînés.
Et par définition, les modèles de diffusion fonctionnent en ajoutant du bruit aux données d'apprentissage et en générant une sortie en récupérant ces données grâce à une inversion du processus de bruit.
DreamFusion, de Google Research, est capable de traduire du texte en images 3D, sans disposer d'un ensemble de données à grande échelle de données 3D étiquetées (indisponible aujourd'hui).
Et c'est le truc !
Comme expliqué par le groupe de recherche :
"Adapter cette approche à la synthèse 3D nécessiterait des ensembles de données à grande échelle de données 3D étiquetées et des architectures efficaces pour débruiter les données 3D, dont aucune n'existe actuellement. Dans ce travail, nous contournons ces limitations en utilisant une diffusion texte-image 2D pré-entraînée. modèle pour effectuer une synthèse texte-3D.
Pourquoi est-ce pertinent?
Dans un Web principalement basé sur du texte ou sur des images 2D depuis plus de deux décennies, il est maintenant temps d'activer des formats améliorés, comme la 3D, qui peuvent bien fonctionner dans les environnements AR.
En bref, imaginez que vous portez les lunettes AR de Google, et ces modèles d'IA en dessous peuvent améliorer le monde réel, avec des objets 3D, à la volée, vous permettant ainsi de rendre les expériences AR bien plus convaincantes.
Meta AI, un système d'IA de création de vidéo, a reçu une invite et la machine a renvoyé une vidéo abrégée.
Au même moment, OpenAI a annoncé la synthèse vocale avec Whisper.
Combinés, ces modèles d'IA créeraient un environnement multimodal où une seule personne ou une petite équipe peut tirer parti de tous ces outils pour la génération de contenu, la réalisation de films, la médecine, et plus encore !
Cela signifie que quelques industries - qui ne pouvaient pas être entrées auparavant - deviennent plus facilement évolutives, car les barrières à l'entrée sont supprimées.
Il est possible de tester/lancer/itérer beaucoup plus rapidement, permettant ainsi aux marchés d'évoluer plus rapidement.
Si après presque 30 ans d'Internet, de nombreuses industries (de la santé à l'éducation) sont encore enfermées dans d'anciens paradigmes.
Une décennie d'IA pourrait les remanier complètement.
Chaque IA modèle sera invité de la même manière, mais la façon d'inviter une machine peut avoir de telles subtilités que la machine peut produire de nombreuses sorties différentes grâce aux variations d'invite.
Juste en octobre 2022 :
Stability AI annonce un financement de 101 millions de dollars pour l'intelligence artificielle open source.
Jasper AI, une startup développant ce qu'elle décrit comme une plate-forme de "contenu IA", a levé 125 millions de dollars pour une valorisation de 1.5 milliard de dollars. Jasper est en train d'acquérir la startup AI Outwrite, un vérificateur de grammaire et de style avec plus d'un million d'utilisateurs.
OpenAI, évalué à près de 20 milliards de dollars, est en pourparlers avancés avec Microsoft pour plus de financement.
Aujourd'hui, avec les invites, vous pouvez générer un nombre croissant de sorties.
Certains des cas d'utilisation d'OpenAI peuvent être générés via des invites. Du Q&A aux classificateurs et générateurs de code. Le nombre de cas d'utilisation que l'IA, via les invites, permet, augmente de façon exponentielle.
Une autre application sympa ? Tu peux conception vos propres chaussures en vous demandant :
Invite DreamStudio AI à générer une paire de baskets personnalisées.
Inviter comme coder?
Le 30 novembre, OpenAI a publié ChatGPT.
Une interface IA conversationnelle avec des capacités incroyables.
En testant ChatGPT, c'était époustouflant !
Je l'ai utilisé pour générer des descriptions de poste.
Avec une simple invite, cela m'a donné une sortie assez précise en quelques secondes!
Cela m'a fait réaliser que c'était un autre tournant pour l'IA…
Et ce n'est rien, en effet le paradigme actuel de l'IA est qu'elle peut coder incroyablement bien !
Qu'est-ce que ChatGPT ?
ChatGPT est un outil qui combine le GPT-3 modèle plus un montant additionnel modèle appelé InstructGPT, qui est affiné grâce à l'apprentissage par renforcement à partir de la rétroaction humaine pour le rendre plus ancré par rapport à GPT.
Avec ChatGPT, vous pouvez obtenir n'importe quelle réponse sur n'importe quel sujet (bien que pour cette version bêta, elle était limitée à divers domaines).
Il y a bien plus que ça.
Avec ChatGPT, vous pouvez vous transformer en codeur.
Tout ce dont vous avez besoin, c'est d'être incité !
Ici, j'ai demandé à ChatGPT de générer le code d'une application Web de négociation d'actions !
ChatGPT s'appuie sur un freemium modèle, avec une version gratuite aux capacités limitées et une version premium (à partir de 20 $/mois), qui comprend également un accès aux heures de pointe, des temps de réponse plus rapides et un accès anticipé aux nouvelles fonctionnalités et améliorations.
Combien gagne un ingénieur prompt ?
Au milieu de l'IA (buzz) et de la révolution, un ingénieur rapide peut gagner entre 150 et 300 $ par an.
Comme exemple intéressant, un ingénieur prompt et bibliothécaire offre d'emploi ressemblerait à ça.
Comment fonctionne OpenAI ?
Exemples d'ingénierie rapides et étude de cas
Voici un exemple d'ingénierie rapide avec quelques meilleures pratiques incluses dans le processus.
Remboursement client pour un téléviseur
Imaginez qu'un client contacte une entreprise d'électronique pour demander le remboursement d'un téléviseur qu'il vient d'acheter. L'entreprise veut utiliser un modèle cela aiderait le service client en générant une réponse plausible.
Lors d'un essai, un client hypothétique ou "test" contacte l'entreprise avec la requête suivante : Bonjour, je souhaite me faire rembourser le téléviseur que j'ai acheté. Est-ce possible?
Pour concevoir l'invite et, par extension, les moyens utiles par lesquels l'agent peut interagir avec le client, l'entreprise commence par informer le modèle du paramètre général et de ce que le reste de l'invite contiendra.
L'invite peut lire quelque chose comme ceci : Il s'agit d'une conversation entre un client et un agent du service client qui est serviable et poli. La question du client : Je souhaite me faire rembourser le téléviseur acheté. Est-ce possible?
Maintenant que la modèle sait à quoi s'attendre, on lui montre le début de la réponse qu'il doit fournir au client : Réponse de l'agent du service client : Bonjour, nous apprécions que vous nous contactiez. Oui,
En combinant les première et deuxième parties, l'invite précise que la réponse à la requête du client provient d'un agent du service client et que la réponse doit être positive.
Composition du modèle linguistique du service client
Le scénario ci-dessus peut être résumé en définissant les composantes de la modèle lui-même:
Description de la tâche - Il s'agit d'une conversation entre un client et un agent du service client qui est serviable et poli.
Indicateur d'entrée - la question du client.
Entrée de courant, et
Indicateur de sortie – Réponse de l'agent du service client : Bonjour, nous apprécions que vous nous contactiez. Oui,
Notez que les indicateurs d'entrée et de sortie sont un moyen efficace de décrire les tâches souhaitées au modèle - en particulier lorsque plusieurs exemples sont inclus dans l'invite. Sur cette base, le modèle peut produire trois sorties de texte (appelées complétions) pour compléter la phrase après la virgule :
Oui, nous pouvons accepter les retours si le téléviseur est inutilisé, non ouvert et non endommagé.
Oui, nous sommes heureux de procéder au remboursement de votre achat de téléviseur. Cependant, veuillez noter que nous exigeons que le téléviseur soit retourné au magasin le plus proche.
Oui, c'est possible. Veuillez répondre avec votre nom, adresse, numéro de téléphone et numéro de reçu dès que possible. Un de nos collaborateurs du service client vous contactera dans les plus brefs délais.
Bien qu'il s'agisse d'une approche quelque peu simplifiée, il est clair que dans cet exemple, le modèle clarifie plusieurs réalisations plausibles avec seulement un petit nombre d'interactions avec le service client.
En théorie, l'entreprise d'électronique pourrait affiner le modèle avec des exemples de la manière dont il doit répondre à des questions, demandes et commentaires spécifiques.
Exemples d'invite ChatGPT
Génération de code
Création de contenu
Analyse des données
Éducation et formation
Prise de décision et résolution de problèmes
Principales sorties:
L'ingénierie rapide est un concept de traitement du langage naturel (NLP) qui implique la découverte d'entrées qui produisent des résultats souhaitables ou utiles.
Comme la plupart des processus, la qualité des entrées détermine la qualité des sorties dans l'ingénierie rapide. La conception d'invites efficaces augmente la probabilité que le modèle renverra une réponse à la fois favorable et contextuelle.
Développé par OpenAI, le CLIP (Contrastive Language-Image Pre-training) modèle est un exemple de modèle qui utilise des invites pour classer les images et les légendes parmi plus de 400 millions de paires image-légende.
Faits saillants
L'ingénierie rapide est un concept de traitement du langage naturel (NLP) où les entrées sont conçues pour produire les sorties souhaitées à partir de modèles d'IA.
Inviter équivaut à donner des instructions à un modèle comme DALL-E pour générer une image spécifique basée sur des instructions données.
L'émergence est une propriété en biologie et en IA, où des comportements et des modèles complexes résultent d'interactions entre des composants à plus grande échelle.
L'apprentissage non supervisé et l'architecture du transformateur ont conduit à l'émergence de modèles de langage puissants capables d'effectuer une grande variété de tâches.
L'ingénierie rapide est apparue comme un moyen d'instruire les modèles de langage pour effectuer des tâches spécifiques grâce à des instructions en langage naturel.
Les modèles d'IA tels que CLIP et ChatGPT sont des exemples d'ingénierie d'invite où les modèles peuvent reconnaître des images ou générer du code basé sur des invites.
L'ingénierie rapide peut être utilisée dans diverses industries pour la génération de contenu, la génération de code, la prise de décision, etc.
Les modèles d'IA peuvent être invités à effectuer un nombre croissant de tâches, et le nombre de cas d'utilisation augmente rapidement.
Les ingénieurs rapides peuvent gagner environ 150 à 300 XNUMX dollars par an, et le domaine connaît une croissance substantielle et investissement.
ChatGPT, une interface conversationnelle d'IA, peut être utilisée comme outil de codage avec invite, ce qui en fait une ressource précieuse pour les développeurs et les créateurs.
L'IA généralisée se compose d'appareils ou de systèmes capables de gérer eux-mêmes toutes sortes de tâches. L'extension de l'IA généralisée a finalement conduit au développement de l'apprentissage automatique. En tant qu'extension de l'IA, Machine Learning (ML) analyse une série d'algorithmes informatiques pour créer un programme qui automatise les actions. Sans programmation explicite des actions, les systèmes peuvent apprendre et améliorer l'expérience globale. Il explore de grands ensembles de données pour trouver des modèles communs et formuler des modèles analytiques par l'apprentissage.
AIOps est l'application de l'intelligence artificielle aux opérations informatiques. Il est devenu particulièrement utile pour la gestion informatique moderne dans des environnements hybrides, distribués et dynamiques. L'AIOps est devenu un composant opérationnel clé des organisations modernes basées sur le numérique, construit autour de logiciels et d'algorithmes.
Machine Learning Ops (MLOps) décrit une suite de meilleures pratiques qui aident avec succès un d'affaires exécuter l'intelligence artificielle. Il comprend les compétences, les flux de travail et les processus permettant de créer, d'exécuter et de maintenir des modèles d'apprentissage automatique pour aider divers processus opérationnels au sein des organisations.
La d'affaires les modèles d'intelligence sont passés à l'intelligence continue, où l'infrastructure technologique dynamique est associée à un déploiement et à une livraison continus pour fournir une intelligence continue. En bref, le logiciel proposé dans le cloud s'intégrera aux données de l'entreprise, s'appuyant sur l'IA/ML pour fournir des réponses en temps réel aux problèmes actuels que l'organisation pourrait rencontrer.
C'est un processus qui nécessite une boucle de rétroaction continue pour développer un produit de valeur et construire une solution viable d'affairesmodèle. Continu innovation est un état d'esprit où les produits et services sont conçus et livrés pour les adapter aux problèmes des clients et non à la solution technique de ses fondateurs.
La modélisation technologique est une discipline qui fournit la base aux entreprises pour soutenir innovation, développant ainsi des produits incrémentaux. Tout en recherchant également des produits innovants révolutionnaires qui peuvent ouvrir la voie à un succès à long terme. Dans une sorte de Barbell Strategy, la modélisation technologique suggère d'avoir une approche à deux volets, d'une part, pour continuer à soutenir innovation en tant qu'élément central de la d'affairesmodèle. D'autre part, il parie sur les développements futurs qui ont le potentiel de percer et de faire un bond en avant.
Gennaro est le créateur de FourWeekMBA, qui a atteint environ quatre millions d'hommes d'affaires, comprenant des cadres de niveau C, des investisseurs, des analystes, des chefs de produit et des entrepreneurs numériques en herbe rien qu'en 2022 | Il est également directeur des ventes pour une mise à l'échelle de haute technologie dans l'industrie de l'IA | En 2012, Gennaro a obtenu un MBA international avec un accent sur la finance d'entreprise et la stratégie commerciale.
