In 2017 legde Kevin Kelly uit:
Ik voorspel dat de formule voor de volgende 10,000 startups is dat je iets neemt en daar AI aan toevoegt. We gaan dat een miljoen keer herhalen, en het wordt echt enorm.
Een paar jaar geleden zijn we hier.
U kunt zien hoe elke branche tot nu toe is geraakt door AI.
En het interessante deel? We staan nog aan het begin van dit proces, waar de volgende miljardenindustrie wordt gecreëerd.
Het keerpunt voor mij, professioneel, was 2019, met GPT-2, sinds ik een explosie van cloudgebaseerde bedrijven (IaaS, PaaS en SaaS) heb gezien die verschillende soorten AI-gebaseerde diensten leveren.
Van zaken analyse voor het genereren van inhoud, optimalisatie en vele andere diensten, lijkt de AI hand in hand te gaan met cloudgebaseerde infrastructuur.
Kortom, AI-modellen, die enorme rekenkracht vereisen, hebben een hele industrie van IaaS, PaaS en SaaS verder gestimuleerd.
Maar er is veel meer aan de hand.
AI heeft geleid tot een geheel nieuw ecosysteem voor ontwikkelaars, bestaande uit zowel open source als propriëtaire tools, die meestal gratis zijn, die door IaaS-spelers worden gebruikt om hun cloudgebaseerde services aantrekkelijker te maken.
We zullen zien hoe dit hele ding werkt.
Maar als we structuur zouden geven aan de AI-businessmodellen, hoe zou dat dan werken?
Laat ik eerst een paar dingen verduidelijken.
AI is tegenwoordig vooral deep learning
Deep learning is een subset van machine learning, een subset van AI.
Kortom, als je iemand hoort praten over AI, dan is dat zo generiek dat het eigenlijk helemaal niets betekent.
Voor het grotere publiek helpt het uitleggen van dingen, in termen van AI, echter meer mensen om te begrijpen waar we het over hebben.
In feite, als je wilt, gaat AI gewoon over het slimmer maken van iets.
Machine learning is daarentegen gericht op het creëren van modellen/algoritmen die in de loop van de tijd kunnen leren en verbeteren.
En deep learning is een verdere subset van machine learning, die tot doel heeft na te bootsen hoe mensen leren (natuurlijk, zoals we zullen zien, is de manier waarop de machine tot resultaten komt compleet anders dan hoe de mens doet).
Deze deep learning-modellen zijn behoorlijk ongelooflijk geworden in het succesvol uitvoeren van zeer complexe taken. Vooral in twee domeinen: natuurlijke taalverwerking en computer visie.
Transformator-gebaseerde architectuur, het draait allemaal om aandacht
Het echte keerpunt voor de AI-industrie kwam in 2017. Sinds het begin van de jaren 2000 beleefde de AI-wereld een renaissance dankzij deep learning.
Begin jaren 2000 werd de term deep learning zelfs meer en meer geassocieerd met diepe neurale netwerken.
Een van de doorbraken kwam toen, en zijn team, aantoonden dat het mogelijk was om een enkele laag neuronen te trainen met behulp van een autoencoder.
Het oude paradigma
Zoals Geoffrey Hinton in zijn TED in 2018 het verschil tussen de oude en nieuwe paradigma's uitlegde:
Als je wilt dat een computer iets doet op de oude manier, dan is het om een programma te schrijven. Dat wil zeggen dat je uitzoekt hoe je het zelf doet, en het knijpt in de details, je vertelt de computer precies wat hij moet doen en de computers zoals jij, maar sneller.
Kortom, in dit oude paradigma is de mens die het probleem uitzoekt en een softwareprogramma schrijft dat de computer precies vertelt hoe dat probleem moet worden uitgevoerd.
Omdat de computer echter extreem snel is, zal hij het buitengewoon goed doen.
Toch vertelt dit oude paradigma je ook dat de machine geen flexibiliteit heeft. Het kan alleen de beperkte taak uitvoeren die het is gegeven.
En om de machine de taak effectiever te laten uitvoeren, vereiste dit een voortdurende verbetering door de mens, die de software moest updaten en regels codes moest toevoegen om de machine efficiënter te maken voor de taak.
Het nieuwe paradigma
In het nieuwe paradigma, zoals Geoffrey Hinton uitlegt:
De nieuwe manier is dat je de computer vertelt dat hij zich in je netwerk bevindt met een leeralgoritme erin dat programmeert, maar als je daarna een bepaald probleem wilt oplossen, laat je gewoon voorbeelden zien.
Dat is de essentie van diep leren.
Een voorbeeld, legt Geoffrey Hinton uit, is dat de machine een afbeelding moet herkennen:
Dus stel dat je het probleem wilt oplossen van Ik geef je alle pixels in de afbeelding. Dat zijn drie getallen per pixel voor de kleur, laten we zeggen een miljoen en je moet die drie miljoen getallen omzetten in een reeks woorden. Dat zegt wat er in de afbeelding staat, dat is een lastig programma om te schrijven. Mensen hebben het 50 jaar geprobeerd en kwamen niet eens in de buurt, maar nu kan een neuraal netwerk het gewoon doen.
Waarom is dit zo belangrijk?
Nou, omdat het er niet meer toe doet of de mens een programma kan schrijven om de afbeelding te herkennen.
Omdat de machine, gebruikmakend van een neuraal netwerk, het probleem kan oplossen.
Hoe komt het dat ze dit probleem 50 jaar lang niet konden oplossen en toen deden ze het wel?
De radicale verandering zat in het gebruik van kunstmatige neuronen, die in staat waren om de ontvangen inputs te wegen en als output een niet-lineaire functie te produceren (in staat om lineaire inputs om te zetten in niet-lineaire outputs) die behoorlijk effectief bleek te zijn voor complexere taken.
Een belangrijk element van deze diepe netwerken is een bepaalde niet-lineaire functie, de activeringsfunctie.
Tegenwoordig zijn machine learning-modellen zoals OpenAI's GPT-3, Google's BERT en DeepMind's Gato allemaal diepe neurale netwerken.
Die gebruiken een deeltjesarchitectuur, transformatorgebaseerd genoemd.
In feite, in een paper uit 2017, getiteld “Aandacht is alles wat je nodig hebt(dat komt omdat een mechanisme dat 'aandachtsmechanisme' wordt genoemd, de trigger is van neuronen in het neurale netwerk, dat in het hele model).
Ze presenteerden deze nieuwe, ongelooflijke architectuur, voor een diepgaande leerervaring model, op transformatoren gebaseerd, die de hele AI-industrie opende, vooral op het gebied van natuurlijke taalverwerking, computer visie, zelfrijdend en een paar andere domeinen.
Zoals we zullen zien, heeft deze architectuur zulke krachtige machine learning-modellen gegenereerd dat sommigen zover zijn gegaan dat ze zich een zogenaamde AGI (kunstmatige algemene intelligentie) voorstelden.
Of het vermogen van machines om flexibel veel taken te leren, terwijl ze potentieel het gevoel ontwikkelen. Zoals we zullen zien, is dit verre van nu. Om te beginnen willen we hier begrijpen wat de implicaties zijn van die machine learning-modellen voor de zakenwereld.
We kijken naar het potentieel en bedrijfsmodellen die zich dankzij deze machine learning-modellen kan ontwikkelen? We kijken zowel naar het ecosysteem van de ontwikkelaar als naar het zakelijke ecosysteem eromheen.
Laten we een snelle blik werpen op de architectuur van deze diepe neurale netwerken, om te begrijpen hoe ze werken, op basisniveau:
Sindsdien vormen Transformers de basis van alle baanbrekende modellen zoals Google BERT en OpenAI GPT3.
En het begint allemaal met 'aandacht'.
Als NVIDIA legt uit:
Een transformator model is een neuraal netwerk dat context en dus betekenis leert door relaties te volgen in opeenvolgende gegevens zoals de woorden in deze zin.
Daarom, zoals NVIDIA uitlegt, zijn toepassingen die sequentiële tekst-, beeld- of videogegevens gebruiken een kandidaat voor transformatormodellen.
In een papier, in 2021 benadrukten onderzoekers van Stanford hoe op transformatoren gebaseerde modellen fundamentele modellen zijn geworden.

Zoals uitgelegd in hetzelfde document:
Het verhaal van AI is er een van toenemende opkomst en homogenisering. Met de introductie van machine learning blijkt hoe een taak wordt uitgevoerd (wordt automatisch afgeleid) uit voorbeelden; met deep learning komen de functies op hoog niveau die worden gebruikt voor voorspelling naar voren; en met basismodellen komen zelfs geavanceerde functionaliteiten zoals in-context leren naar voren. Tegelijkertijd homogeniseert machine learning leeralgoritmen (bijv. logistische regressie), homogeniseert deep learning model architecturen (bijv. convolutionele neurale netwerken), en funderingsmodellen homogeniseert de model zelf (bijv. GPT-3).
De opkomst van fundamentele modellen
Het centrale idee van fundamentele modellen en op transformatoren gebaseerde architectuur kwam voort uit het idee om "kennis" (of het vermogen om een taak op te lossen) van het ene domein naar het andere over te dragen.
Zoals uitgelegd in hetzelfde document:
Het idee van transfer learning is om de "kennis" die is geleerd van de ene taak (bijv. objectherkenning in afbeeldingen) te nemen en toe te passen op een andere taak (bijv. activiteitsherkenning in video's).
In het kort:
Binnen deep learning is voortraining de dominante benadering van transfer learning: a model wordt getraind op een surrogaattaak (vaak alleen als middel om een doel te bereiken) en vervolgens aangepast aan de stroomafwaartse taak van belang via fine-tuning
Daarom hebben we drie kernmomenten voor machine learning: model:
- Vooropleiding: de aanpassen model van de ene taak naar de andere taak (stel je bijvoorbeeld voor dat je een model die productbeschrijvingen genereert die voor één persoon logisch zijn merk. Nu wil je dat het productbeschrijvingen genereert die logisch zijn voor een ander merk. Zaken als tone of voice en doelgroepverandering. Dit betekent dat om voor de model aan een ander werken merk, het moet vooraf worden opgeleid).
- Testen: om de . te valideren model, en begrijpen hoe het zich op grotere schaal 'draagt' (het is bijvoorbeeld één ding om een model die producten genereert
- En fine-tuning: of het maken van de model beter en beter voor de taak die voorhanden is, door zowel aan de invoer te werken (gegevens opgehaald naar de model) en output (analyse van de resultaten van de model).
Wat anders is, is deze keer de enorme schaal van deze modellen.
En schaal is mogelijk (zoals benadrukt in de fundamentele model's paper) door middel van drie kerningrediënten:
- Hardware (overgang van CPU naar GPU, waarbij bedrijven als NVIDIA de boerderij inzetten op chipsarchitectuur voor AI).
- Verdere ontwikkeling van de transformator model architectuur.
- En de beschikbaarheid van veel meer trainingsgegevens.
Anders dan vroeger, toen de gegevens moesten worden gelabeld, gebruikt. Moderne machine learning-modellen (zoals BERT van Google) zijn in staat om taken zelfstandig en met ongelabelde gegevens uit te voeren.
De baanbrekende deep learning-modellen (BERT, GPT-3, RoBERTa, BART, T5) zijn gebaseerd op zelfgestuurd leren in combinatie met de transformatorarchitectuur.
Het basisidee is dat een enkele model kan nuttig zijn voor zo'n breed scala aan taken.
De transformatorindustrie is geëxplodeerd en er komen er steeds meer op de markt.

Het draait allemaal om de prompt!
Uit de homogenisering en schaal van die modellen kwam een interessant kenmerk naar voren.
Door de beschikbare parameters te schalen naar een model (GPT-3 gebruikte 175 miljard parameters vergeleken met de 2 miljard van GPT-1.5) het maakte in-context leren mogelijk.
Terwijl het tegelijkertijd, onverwacht, ontstond snel, of een natuurlijke taalbeschrijving van de taak), die kan worden gebruikt om de model en laat het werken aan andere downstream-taken (een specifieke taak die u wilt oplossen).

Fundamentele modellen zijn extreem krachtig omdat ze tot nu toe veelzijdig zijn. Van data, of het nu gelabeld en gestructureerd is, of ongelabeld en ongestructureerd, de fundamentele model kan aanpassen om verschillende taken te genereren.
Hetzelfde model kan vragen beantwoorden, sentiment analyse, ondertiteling van afbeeldingen, objectherkenning en het volgen van instructies.
Om het idee te krijgen, heeft OpenAI een speeltuin voor GPT-3. Een model kan voor een groot aantal taken worden gebruikt. Van Q&A tot grammaticacorrectie, vertalingen, classificaties, sentimentanalyses en nog veel meer.




In dat opzicht Prompt (of het vermogen om de machine een zeer specifieke taak te laten uitvoeren) zal in de toekomst een cruciale vaardigheid zijn.
Aanwijzingen zijn inderdaad van cruciaal belang voor het genereren van kunst, games, code en nog veel meer.
Het is de prompt die u van invoer naar uitvoer brengt.
En de kwaliteit van de prompt (het vermogen om de taak te beschrijven, de machine learning) model moet presteren) bepaalt de kwaliteit van de output.
Een ander voorbeeld van hoe AI gewend raakt om iedereen in staat te stellen te coderen, is de AI-copiloot van GitHub:

We moeten beginnen bij de fundamentele lagen.
Laten we beginnen met het analyseren van het geheel, eerst vanuit het perspectief van de ontwikkelaars, de modellen bouwen en deze voor het publiek inzetten.
En dan gaan we naar de andere kant van het spectrum en kijken naar het zakelijke ecosysteem eromheen.
De workflow van het machine learning-model

De eerste vraag die moet worden gesteld, is of een ontwikkelaar machine learning-modellen vanaf het begin wil bouwen, wat is de juiste plaats om te beginnen op basis van de workflow om een model helemaal opnieuw?
In dat geval is er verschillende machine learning-software die AI-ontwikkelaars kunnen gebruiken.
In die zin is het van cruciaal belang om te begrijpen wat een workflow is om een machine learning te bouwen model, en de verschillende componenten die de ontwikkelaar nodig heeft.
Over het algemeen bouwen ontwikkelaars machine learning-modellen om specifieke taken op te lossen.
Laten we het geval nemen van een ontwikkelaar die een o wil bouwen model die productpaginabeschrijvingen kan genereren voor een grote e-commerce website.
De werkstroom ziet er als volgt uit:
- Gegevens creatie. In deze fase verzamelt de mens de gegevens die nodig zijn voor de model om specifieke taken uit te voeren (bijvoorbeeld bij het genereren van productbeschrijvingen wilt u zoveel mogelijk tekst en gegevens over bestaande producten).
- Gegevensbeheer. Dit is van cruciaal belang om de kwaliteit van de gegevens die in de model. En ook dit is meestal meestal mensgericht.
- Opleiding. Dit is het deel van de gewoonte model creatie op basis van de verzamelde en samengestelde gegevens.
- Aanpassing. In deze fase, uitgaande van de bestaande model, we trainen het vooraf om nieuwe taken uit te voeren (denk aan het gebruik van GPT-3, om productpagina's op een specifieke site te produceren, dit vereist de model vooraf worden getraind voor de context van die site, om relevante inhoud te genereren).
- Inzet. De fase waarin de model aan de wereld wordt vrijgegeven.
Ik zou hieraan willen toevoegen dat je in de meeste commerciële gebruikssituaties, voor de implementatie, meestal begint met een pilot, die tot doel heeft een heel eenvoudige vraag te beantwoorden.
Zoals, kan de model productpagina's produceren die logisch zijn voor de mens?
In deze context is de schaal beperkt (je begint bijvoorbeeld met het genereren van 100-500 max productpagina's).
En als het werkt, ga je aan de slag.
Daarna, op basis van wat ik heb gezien, zijn de volgende fasen:
- herhaling: of ervoor zorgen dat de model kan verbeteren door het meer gegevens te geven.
- Scherpstellen: of ervoor zorgen dat de model aanzienlijk kunnen verbeteren door aan datacuratie te doen.
- Scale: het model op grotere en grotere volumes voor die specifieke taak inschakelen.
Laten we op basis van het bovenstaande het ecosysteem van de ontwikkelaars voor AI reconstrueren.
MLOps: ecosysteem voor ontwikkelaars

Voordat we ingaan op de details van de workflow van de ontwikkelaars, laten we beginnen met een heel eenvoudige vraag.
Hoe programmeer je een machine learning-model? Welke taal gebruik je?
Hieronder staan de meest populaire programmeertalen, in 2022, volgens GitHub-statistieken:

Zegt het je iets? Python, de meest populaire programmeertaal, is ook de meest populaire AI-programmeertaal.
In de lijst met topprogrammeertalen zijn sommige natuurlijk niet voor AI. Maar de top drie, Python, JavaScript en Java, zijn het populairst voor AI-programmering.
Python is verreweg het populairst.
Gezien zijn eenvoud, maar ook dankzij het feit dat het programmeurs een reeks bibliotheken geeft om uit te putten, en dat het interoperabel is.
Gegevenscreatie
Het deel van het creëren van gegevens is een mensgerichte intensieve taak, die uiterst belangrijk is omdat de kwaliteit van de onderliggende gegevens de kwaliteit van de output van het model zal bepalen.
Rekening houdend met het feit dat de gegevens ook het model zijn, dus als er enige vertekening uit dat model komt, is dit te wijten aan de manier waarop de gegevens zijn geselecteerd.
Overigens kan een model meestal worden getraind met real-world data of synthetisch.
Denk voor real-world data aan het geval van hoe Tesla de miljarden kilometers gebruikt die door de Tesla-eigenaren over de hele wereld zijn gereden om zijn zelfrijdende algoritmen te verbeteren via zijn deep learning-netwerken.

Als het om synthetische data gaat, worden deze in de digitale wereld geproduceerd via computersimulaties of algoritmen.

Over het algemeen zijn real-world data versus synthetische data een kwestie van keuze. Niet alle bedrijven hebben toegang tot een breed scala aan real-world data.
Bedrijven zoals Tesla, Apple of Google met succesvolle hardwareapparaten op de markt (Tesla-auto's, iPhone, Android-smartphones) hebben bijvoorbeeld de mogelijkheid om een enorme hoeveelheid gegevens te verzamelen en deze te gebruiken om hun modellen voor te trainen en AI-gebaseerde producten snel.
Andere bedrijven hebben deze wijziging misschien niet, dus het gebruik van synthetische gegevens kan sneller, goedkoper en in sommige gevallen meer op privacy gericht zijn.
In feite heeft de opkomst van de AI-industrie al andere aangrenzende industrieën gestimuleerd, zoals de synthetische dataleveranciers-industrie.

Gegevensbeheer
Zodra u de gegevens hebt, draait het allemaal om beheer. Gegevensbeheer is ook tijdrovend en toch van cruciaal belang omdat het de kwaliteit bepaalt van het aangepaste model dat u gaat bouwen.
Ook als het gaat om datacuration is daar een hele industrie voor.
Training
Voor het trainingsgedeelte zijn daar verschillende software voor. Het trainen van machine learning-modellen is het middelpunt van de hele workflow. De training maakt het namelijk mogelijk om de modellen op maat te maken.
Wat dat betreft, hebben cloudinfrastructuren aanzienlijk geïnvesteerd om tools te maken om AI-programmeurs en -ontwikkelaars in staat te stellen. Sommige van die tools zijn open source, andere zijn propriëtair.
Over het algemeen zijn AI-tools een cruciaal onderdeel voor beide cloudinfrastructuren, die ontwikkelaarsgemeenschappen rond deze tools kunnen inschakelen en daardoor hun cloudaanbod kunnen vergroten.
Kortom, de AI-tool is het "freemium" dat dient om de merk van de cloudprovider, terwijl ontwikkelaars worden gevraagd hun modellen te hosten bovenop hun cloudinfrastructuren.
Niet toevallig komen de meest gebruikte AI-tools van bedrijven als Amazon AWS, Google Cloud, IBM en Microsoft's Azure.
Het vrijgeven van een AI-tool, hetzij als open source of propriëtair, is niet alleen een filosofische keuze, het is ook een bedrijfsmodel keuze.
Inderdaad, met een open source-aanpak zal de AI-tool alleen inkomsten genereren wanneer het model wordt gehost op dezelfde cloudinfrastructuur, kortom, het werkt als een premium.
Zo ziet het ecosysteem van tools eruit als je AI-tools probeert te ontwikkelen. Er worden alles-in-één oplossingen ontwikkeld om de versnippering van tooling in het AI-ecosysteem op te vangen.

Deployment
Laten we nu het hele zakelijke ecosysteem analyseren en hoe het is georganiseerd rond deze machine learning-modellen.
Het AI-bedrijfsecosysteem

Chip-architectuur
Met de opkomst van AI hebben een paar tech-spelers alles geïnvesteerd in het maken van chips voor AI. Een voorbeeld is: NVIDIA, die een geheel nieuwe categorie chipsarchitectuur heeft gecreëerd, gebaseerd op GPU, welke architectuur goed geschikt is voor AI, zwaar tillen.

Andere bedrijven zoals Intel en Qualcomm richten zich ook op AI-chips.
Elk van die bedrijven, met een bepaalde nadruk.

De AI-chips van NVIDIA blijken bijvoorbeeld extreem krachtig voor gaming, datacenters en professionele visualisaties.

Toch zijn zelfrijdende en intelligente machines ook kritieke gebieden waarop NVIDIA gokt.
Ook Intel heeft massaal interesse in AI-chips, wat een van zijn prioriteiten is.

En hieronder ziet u hoe elk van zijn chipproducten wordt gebruikt in verschillende AI-aangedreven industrieën.

Qualcomm biedt ook een stapel chips voor verschillende gebruiksscenario's.



Over het algemeen hebben techreuzen de productie van chips nu in eigen beheer gebracht.
Een voorbeeld is Apple dat eindelijk zijn eigen chips begon te produceren, voor zowel zijn telefoons als computers.

Google heeft dit voorbeeld gevolgd door zijn eigen chips te ontwerpen voor de nieuwe generaties Pixel-telefoons.
Een nieuwe chip, voor het eerst intern ontworpen, werd gebouwd als een premium systeem op een chip (SoC).

Deze chiparchitectuur, beweert Google, stelt het in staat om zijn apparaten verder uit te rusten met machine learning. Bijvoorbeeld met live vertalingen van de ene taal naar de andere.
Waarom investeren bedrijven weer in chips?
Met de opkomst van AI en alles wat slim is, leven we op het snijvlak van verschillende nieuwe industrieën die de AI-revolutie stimuleren (5G, IoT, machine learning-modellen, bibliotheken en chiparchitectuur).
Als zodanig is het maken van chips opnieuw een belangrijke strategische troef geworden voor bedrijven die hardware voor consumenten maken.
De drie lagen van AI

Lezen: AI Zakelijk
OpenAI-bedrijfsmodel

Lezen: OpenAI-bedrijfsmodel
Stabiliteit AI-bedrijfsmodel

Lezen: Stabiliteit AI-bedrijfsmodel
Lees verder: