Prompt engineering is een concept voor natuurlijke taalverwerking (NLP) waarbij input wordt ontdekt die gewenste of bruikbare resultaten oplevert. Aansporen is het equivalent van de Genius in de magische lamp vertellen wat hij moet doen. In dit geval is de magische lamp DALL-E, klaar om elk gewenst beeld te genereren.
In-context leren via aansporing
In de biologie is emergentie een ongelooflijke eigenschap, waarbij delen die samenkomen, als resultaat van hun interacties, nieuw gedrag vertonen (emergente genoemd), dat je op kleinere schaal niet kunt zien.
Het nog ongelooflijkere is dat zelfs als de kleinere versie lijkt op de grotere schaal, het feit dat de grotere schaal uit meer delen en interacties bestaat, het uiteindelijk een compleet andere reeks gedragingen vertoont.
En er is geen manier om te voorspellen wat dit gedrag zou kunnen zijn.
Dat is het mooie (voor beter of slechter) van schaal!
In de huidige AI-revolutie is het meest opwindende aspect de opkomst van opkomende eigenschappen van machine learning-modellen die op schaal werken.
En het begon allemaal met de mogelijkheid om die AI-modellen zonder toezicht te laten trainen. Ongecontroleerd leren is inderdaad een van de belangrijkste principes van deze AI-revolutie geweest, en dat is ook zo unstuck de AI-voortgang van de afgelopen jaren.
Vóór 2017 werkte de meeste AI door gebruik te maken van gesuperviseerd leren via kleine, gestructureerde datadatasets, die machine learning-modellen konden trainen op zeer beperkte taken.
Na 2017, met een nieuwe architectuur, een transformator genaamd, begonnen dingen te veranderen.
Deze nieuwe architectuur zou kunnen worden gebruikt met een leerbenadering zonder toezicht. Het machinaal leren model kan vooraf worden getraind op een zeer grote, ongestructureerde dataset met een zeer eenvoudige objectieve functie: tekst-naar-tekstvoorspelling.
Het opwindende aspect is dat de machine learning model, om te leren hoe een tekst-naar-tekst-voorspelling correct kan worden uitgevoerd (wat een heel eenvoudige taak lijkt), begon een aantal patronen en heuristieken te leren rond de gegevens waarop het was getraind.
Dit maakte machine learning mogelijk model om een grote verscheidenheid aan taken te leren.
In plaats van te proberen een enkele taak uit te voeren, de grote taal model begonnen patronen uit de gegevens af te leiden en die opnieuw te gebruiken bij het uitvoeren van nieuwe taken.
Dit is een kernrevolutie geweest. Bovendien was het andere keerpunt, dat naar voren kwam met de GPT-3-paper, de mogelijkheid om deze modellen aan te zetten.
Kortom, het stelt deze modellen in staat om de context van een gebruiker verder te leren door middel van instructie in natuurlijke taal, wat de output van de model.
Dit andere aspect kwam ook naar voren, aangezien niemand er uitdrukkelijk om vroeg. Zo kregen we in-context leren, via prompts, als een kerneigenschap van de huidige machine learning-modellen.
Snelle engineering begrijpen
Prompt Engineering is een belangrijke, opkomende eigenschap van het huidige AI-paradigma.
Een van de meest interessante aspecten van Prompt Engineering is het feit dat het uitkwam als een opkomende eigenschap van het opschalen van de transformatorarchitectuur om grote taalmodellen te trainen.
Net zoals de wensen die u uit, zich tegen u kunnen keren, kan de manier waarop u uitdrukt wat het moet doen, de output drastisch veranderen wanneer u de machine vraagt.
En het meest interessante deel? Prompt was geen door AI-experts ontwikkelde functie. Het was een opkomende functie. Kortom, door deze enorme machine learning-modellen te ontwikkelen, werd prompting de manier om de machine de invoer te laten uitvoeren.
Niemand heeft erom gevraagd; het is gewoon gebeurd!
In een paper uit 2021 benadrukten onderzoekers van Stanford hoe op transformator gebaseerde modellen fundamentele modellen waren geworden.
Zoals uitgelegd in hetzelfde document:
Het verhaal van AI is er een van toenemende opkomst en homogenisering. Met de introductie van machine learning blijkt hoe een taak wordt uitgevoerd (wordt automatisch afgeleid) uit voorbeelden; met deep learning komen de functies op hoog niveau die worden gebruikt voor voorspelling naar voren; en met basismodellen komen zelfs geavanceerde functionaliteiten zoals in-context leren naar voren. Tegelijkertijd homogeniseert machine learning leeralgoritmen (bijv. logistische regressie), homogeniseert deep learning model architecturen (bijv. convolutionele neurale netwerken), en funderingsmodellen homogeniseert de model zelf (bijv. GPT-3).
Prompt engineering is een proces dat wordt gebruikt in AI waarbij een of meerdere taken worden geconverteerd naar een op prompts gebaseerde dataset die een taal model wordt dan opgeleid om te leren.
De motivatie achter snelle engineering kan op het eerste gezicht moeilijk te begrijpen zijn waarde, dus laten we het idee beschrijven met een voorbeeld.
Stel je voor dat je een online maaltijdbezorging opzet platform en u beschikt over duizenden afbeeldingen van verschillende groenten om op de site op te nemen.
Het enige probleem is dat geen van de metadata van de afbeelding beschrijft welke groenten op welke foto's staan.
Op dit punt kun je moeizaam door de afbeeldingen bladeren en aardappelfoto's in de aardappelmap plaatsen, broccolifoto's in de broccolimap, enzovoort.
Je kunt ook alle afbeeldingen door een classifier laten lopen om ze gemakkelijker te sorteren, maar, zoals je ontdekt, de classifier trainen model vereist nog steeds gelabelde gegevens.
Met behulp van prompt engineering kunt u een op tekst gebaseerde prompt schrijven waarvan u denkt dat deze de beste resultaten voor beeldclassificatie oplevert.
U kunt bijvoorbeeld de model laten zien "een afbeelding met aardappelen”. De structuur van deze prompt – of de verklaring die definieert hoe de model herkent afbeeldingen - is van fundamenteel belang voor snelle engineering.
Het schrijven van de beste prompt is vaak een kwestie van vallen en opstaan. Inderdaad, de melding “een afbeelding met aardappelen” is heel anders dan "een foto van aardappelen” of "een verzameling aardappelen. '
Snelle technische best practices
Zoals bij de meeste processen bepaalt de kwaliteit van de input de kwaliteit van de output. Het ontwerpen van effectieve prompts vergroot de kans dat de model zal een antwoord teruggeven dat zowel gunstig als contextueel is.
Het schrijven van goede aanwijzingen is een kwestie van begrijpen wat de model "weet" over de wereld en past die informatie vervolgens dienovereenkomstig toe.
Sommigen geloven dat het verwant is aan het spel van charades waarbij de acteur net genoeg informatie geeft voor hun partner om het woord of de zin te achterhalen met behulp van hun intellect.
Denk aan de model als vertegenwoordiger van de partner in charades. Er wordt net voldoende informatie gegeven via de trainingsprompt voor de model om de patronen uit te werken en de taak te volbrengen.
Het heeft geen zin om de te overbelasten model met alle informatie tegelijk en het onderbreken van de natuurlijke intelligentiestroom.
Prompt engineering en het CLIP-model
De CLIP (Contrastief Taal-Beeld Pre-training) model werd in 2021 ontwikkeld door het AI-onderzoekslaboratorium OpenAI.
Volgens onderzoekers is CLIP “een neurale netwerk getraind op verschillende (beeld, tekst) paren. Het kan in natuurlijke taal worden geïnstrueerd om het meest relevante tekstfragment te voorspellen, gegeven een afbeelding, zonder direct te optimaliseren voor de taak, vergelijkbaar met de zero-shot-mogelijkheden van GPT-2 en 3."
Met behulp van deze informatie kan men een afbeelding invoeren in de model, en het genereert een bijschrift of samenvatting die volgens hem het meest nauwkeurig is.
Het bovenstaande citaat raakt ook de zero-shot-mogelijkheden van CLIP, wat het een beetje speciaal maakt onder machine learning-modellen.
Van de meeste classifiers die zijn getraind om bijvoorbeeld appels en sinaasappels te herkennen, wordt verwacht dat ze goed presteren bij het classificeren van appels en sinaasappels, maar over het algemeen zullen ze geen bananen detecteren.
Sommige modellen, waaronder CLIP, GPT-2 en GPT-3, wel bananen herkennen. Met andere woorden, ze kunnen taken uitvoeren waarvoor ze niet expliciet zijn opgeleid. Dit vermogen staat bekend als zero-shot learning.
Voorbeelden van snelle engineering
Vanaf 2022 versnelt de evolutie van AI-modellen. En dit maakt prompt engineering steeds belangrijker.
We kregen eerst tekst-naar-tekst met taalmodellen zoals GPT-3, BERT en andere.
Daarna kregen we tekst-naar-beeld met Dall-E, Imagen, MidJourney en StableDiffusion.
In dit stadium gaan we over op tekst-naar-video met Meta's Make-A-Video, en nu ontwikkelt Google zijn eigen Imagen Video.
Effectieve AI-modellen zijn tegenwoordig gericht op het verkrijgen van meer met veel, veel minder!
Een voorbeeld is DreamFusion: Text-to-3D met behulp van 2D-diffusie, gebouwd door Google Research Lab.
Kortom, AI-diffusiemodellen zijn generatieve modellen, wat betekent dat ze een output produceren die vergelijkbaar is met die waarop ze zijn getraind.
En per definitie werken diffusiemodellen door ruis toe te voegen aan de trainingsgegevens en door een output te genereren door die gegevens te herstellen via een omkering van het ruisproces.
DreamFusion, van Google Research, kan tekst vertalen naar 3D-afbeeldingen, zonder een grootschalige dataset met gelabelde 3D-gegevens te hebben (vandaag niet beschikbaar).
En dat is het!
Zoals uitgelegd door de onderzoeksgroep:
"Het aanpassen van deze benadering aan 3D-synthese zou grootschalige datasets van gelabelde 3D-gegevens en efficiënte architecturen voor het verwijderen van ruis in 3D-gegevens vereisen, die momenteel geen van beide bestaan. In dit werk omzeilen we deze beperkingen door een vooraf getrainde 2D-tekst-naar-beeld-diffusie te gebruiken model om tekst-naar-3D-synthese uit te voeren.”
Waarom is dit relevant?
In een web dat al meer dan twee decennia voornamelijk op tekst of 2D-afbeeldingen is gebaseerd, is het nu tijd om verbeterde indelingen in te schakelen, zoals 3D, dat goed kan werken in AR-omgevingen.
Kortom, stel je voor dat je de AR-bril van Google draagt, en deze AI-modellen eronder kunnen de echte wereld, met 3D-objecten, direct verbeteren, waardoor je AR-ervaringen veel boeiender kunt maken.
Meta AI, een make-a-video AI-systeem, kreeg een prompt en de machine gaf een korte video terug.
Tegelijkertijd kondigde OpenAI spraak-naar-tekst aan met Whisper.
Gecombineerd zouden deze AI-modellen een multimodale omgeving creëren waarin een enkele persoon of een klein team al deze tools kan gebruiken voor het genereren van inhoud, het maken van films, medicijnen en meer!
Dit betekent dat een paar bedrijfstakken – die voorheen niet konden worden betreden – gemakkelijker schaalbaar worden, omdat toetredingsdrempels worden weggenomen.
Het is mogelijk om veel sneller te testen/lanceren/itereren, waardoor markten sneller kunnen evolueren.
Als na bijna 30 jaar internet nog steeds veel industrieën (van gezondheidszorg tot onderwijs) vastzitten in oude paradigma's.
Een decennium van AI zou ze volledig kunnen herschikken.
Elke AI model worden op dezelfde manier gevraagd, maar de manier waarop een machine wordt gevraagd, kan zulke subtiliteiten hebben dat de machine veel verschillende outputs kan produceren dankzij de prompte variaties.
Alleen in oktober 2022:
Stability AI kondigt $ 101 miljoen aan financiering aan voor open source kunstmatige intelligentie
Jasper AI, een startup die ontwikkelt wat het een "AI-content" -platform noemt, heeft 125 miljoen dollar opgehaald tegen een waardering van 1.5 miljard dollar. Jasper is bezig met de overname van AI-startup Outwrite, een grammatica- en stijlchecker met meer dan een miljoen gebruikers.
OpenAI, ter waarde van bijna $ 20 miljard, is in geavanceerde gesprekken met Microsoft voor meer financiering.
Tegenwoordig kunt u met prompts een groeiend aantal outputs genereren.
Sommige use-cases van OpenAI kunnen worden gegenereerd via prompts. Van Q&A tot classifiers en codegeneratoren. Het aantal use-cases dat de AI via prompts mogelijk maakt, groeit exponentieel.
Nog een toffe applicatie? Jij kan Design je eigen schoenen met de prompt:
Heeft DreamStudio AI ertoe aangezet om een paar aangepaste sneakers te genereren.
Vragen zoals coderen?
Op 30 november heeft OpenAI ChatGPT uitgebracht.
Een conversationele AI-interface met ongelooflijke mogelijkheden.
Toen ik ChatGPT testte, was het verbluffend! Ik gebruikte het om functiebeschrijvingen te genereren. Met een simpele prompt gaf het me binnen een paar seconden een behoorlijk nauwkeurige uitvoer! Dat deed me beseffen dat dit een ander keerpunt was voor AI...
En dat is niets, inderdaad, het huidige paradigma van AI is dat het ongelooflijk goed kan coderen!
Wat is ChatGPT?
GPT chatten is een tool die de GPT-3 combineert model plus een extra model genaamd InstructGPT, dat is verfijnd door versterkend leren van menselijke feedback om het meer gegrond te maken in vergelijking met GPT.
Met ChatGPT kun je elk antwoord krijgen over elk onderwerp (hoewel het voor deze bètaversie beperkt was tot verschillende gebieden).
Er komt veel meer bij kijken.
Met ChatGPT kun je jezelf veranderen in een coder.
Alles wat je nodig hebt, is aansporen!
Hier vroeg ik ChatGPT om de code te genereren voor een web-app voor aandelenhandel!
ChatGPT maakt gebruik van een freemium model, met een gratis versie met beperkte mogelijkheden en een premiumversie (vanaf $ 20/mnd), die ook toegang op piekmomenten, snellere responstijden en vroege toegang tot nieuwe functies en verbeteringen omvat.
Hoeveel verdient een prompt engineer?
Temidden van de AI (buzz) en revolutie kan een snelle ingenieur ergens tussen de $ 150 en 300 per jaar verdienen.
Als een interessant voorbeeld, een snelle ingenieur en bibliothecaris vacature zou er zo uitzien.
Hoe werkt OpenAI?
Snelle technische voorbeelden en case study
Hier is een snel technisch voorbeeld met enkele best practices die in het proces zijn opgenomen.
Klantenteruggave voor een televisie
Stel je voor dat een klant contact opneemt met een elektronicabedrijf en een terugbetaling aanvraagt voor een televisie die ze onlangs hebben gekocht. Het bedrijf wil een model dat zou de klantenservice helpen door een plausibel antwoord te genereren.
Tijdens een proefrit neemt een hypothetische of 'test'-klant contact op met het bedrijf met de volgende vraag: Hallo, ik wil graag mijn geld terugkrijgen voor de televisie die ik heb gekocht. Is dit mogelijk?
Om de prompt te ontwerpen en, bij uitbreiding, handige manieren waarop de agent met de klant kan communiceren, begint het bedrijf door het model te informeren over de algemene setting en wat de rest van de prompt zal bevatten.
De prompt kan er ongeveer zo uitzien: Dit is een gesprek tussen een klant en een medewerker van de klantenservice die behulpzaam en beleefd is. De vraag van de klant: ik wil graag mijn geld terug voor de gekochte televisie. Is dit mogelijk?
Nu de model weet wat hij kan verwachten, wordt het begin getoond van de reactie die hij aan de klant moet geven: Reactie van de medewerker van de klantenservice: Hallo, we stellen het op prijs dat u contact met ons opneemt. Ja,
Door het eerste en tweede deel te combineren, maakt de prompt duidelijk dat het antwoord op de vraag van de klant afkomstig is van een medewerker van de klantenservice en dat het antwoord positief moet zijn.
Samenstelling van het taalmodel voor klantenservice
Het bovenstaande scenario kan worden samengevat door de componenten van de model zelf:
Taakomschrijving - Dit is een gesprek tussen een klant en een medewerker van de klantenservice die behulpzaam en beleefd is.
Inputindicator – de vraag van de klant.
Huidige invoer, en
Uitgangsindicator – Reactie van de medewerker van de klantenservice: Hallo, we stellen het op prijs dat u contact met ons opneemt. Ja,
Merk op dat input- en outputindicatoren een effectieve manier zijn om gewenste taken te beschrijven aan de model – vooral wanneer er meerdere voorbeelden in de prompt staan. Op basis hiervan heeft de model kan drie tekstuitvoer produceren (bekend als voltooiingen) om de zin na de komma te voltooien:
Ja, we kunnen retourzendingen accepteren als de televisie ongebruikt, ongeopend en onbeschadigd is.
Ja, we verwerken graag een terugbetaling voor uw televisieaankoop. Houd er echter rekening mee dat we eisen dat de televisie wordt teruggebracht naar de dichtstbijzijnde winkel.
Ja, dit is mogelijk. Antwoord zo snel mogelijk met uw naam, adres, telefoonnummer en bonnummer. Een van onze medewerkers van de klantenservice zal zo snel mogelijk contact met u opnemen.
Hoewel dit een enigszins vereenvoudigde benadering is, is het duidelijk dat in dit voorbeeld de model verduidelijkt verschillende plausibele voltooiingen met slechts een klein aantal klantenservice-interacties.
In theorie zou het elektronicabedrijf de model met voorbeelden van hoe het zou moeten reageren op specifieke vragen, verzoeken en opmerkingen.
Voorbeelden van ChatGPT-prompts
Content Creatie
Data-analyse
Sleutelfaciliteiten:
Prompt engineering is een concept voor natuurlijke taalverwerking (NLP) waarbij input wordt ontdekt die wenselijke of bruikbare resultaten oplevert.
Zoals bij de meeste processen, bepaalt de kwaliteit van de inputs de kwaliteit van de outputs bij prompte engineering. Het ontwerpen van effectieve prompts vergroot de kans dat de model zal een antwoord teruggeven dat zowel gunstig als contextueel is.
Ontwikkeld door OpenAI, de CLIP (Contrastive Language-Image Pre-training) model is een voorbeeld van een model dat gebruikmaakt van prompts om afbeeldingen en bijschriften te classificeren van meer dan 400 miljoen paren van afbeeldingsbijschriften.
Gegeneraliseerde AI bestaat uit apparaten of systemen die zelfstandig allerlei taken aankunnen. De uitbreiding van gegeneraliseerde AI leidde uiteindelijk tot de ontwikkeling van Machine Learning. Als uitbreiding op AI analyseert Machine Learning (ML) een reeks computeralgoritmen om een programma te maken dat acties automatiseert. Zonder expliciete programmeeracties kunnen systemen leren en de algehele ervaring verbeteren. Het onderzoekt grote datasets om gemeenschappelijke patronen te vinden en analytische modellen te formuleren door middel van leren.
AIOps is de toepassing van kunstmatige intelligentie op IT-operaties. Het is bijzonder nuttig geworden voor modern IT-beheer in gehybridiseerde, gedistribueerde en dynamische omgevingen. AIOps is een belangrijk operationeel onderdeel geworden van moderne digitale organisaties, gebouwd rond software en algoritmen.
Machine Learning Ops (MLOps) beschrijft een reeks best practices die met succes helpen een bedrijf kunstmatige intelligentie uitvoeren. Het bestaat uit de vaardigheden, workflows en processen om machine learning-modellen te maken, uit te voeren en te onderhouden om verschillende operationele processen binnen organisaties te helpen.
De bedrijf intelligentiemodellen zijn overgegaan op continue intelligentie, waarbij dynamische technologie-infrastructuur wordt gekoppeld aan continue implementatie en levering om continue intelligentie te bieden. Kortom, de software die in de cloud wordt aangeboden, zal worden geïntegreerd met de gegevens van het bedrijf, waarbij gebruik wordt gemaakt van AI/ML om in realtime antwoorden te bieden op actuele problemen waarmee de organisatie mogelijk te maken heeft.
Dat is een proces dat een continue feedbacklus vereist om een waardevol product te ontwikkelen en een levensvatbaar product op te bouwen bedrijfmodel. doorlopend innovatie is een mentaliteit waarbij producten en diensten worden ontworpen en geleverd om ze af te stemmen op de problemen van de klant en niet op de technische oplossing van de oprichters.
Technologische modellering is een discipline om de basis te leggen voor bedrijven om duurzaam te blijven innovatie, waardoor incrementele producten worden ontwikkeld. Terwijl we ook kijken naar baanbrekende innovatieve producten die de weg kunnen effenen voor succes op de lange termijn. In een soort Barbell-strategie suggereert technologische modellering een tweezijdige benadering, enerzijds om continu te blijven innovatie als een kernonderdeel van de bedrijfmodel. Anderzijds zet het in op toekomstige ontwikkelingen die de potentie hebben om door te breken en een sprong voorwaarts te maken.
Gennaro is de maker van FourWeekMBA, die alleen al in 2022 ongeveer vier miljoen zakenmensen bereikte, bestaande uit C-level executives, investeerders, analisten, productmanagers en aspirant-digitale ondernemers | Hij is ook Director of Sales voor een hightech scale-up in de AI-industrie | In 2012 behaalde Gennaro een International MBA met de nadruk op Corporate Finance en Business Strategy.
