Supercomputers zijn die met niveaus van prestatie die veel verder gaan dan conventionele computers, laptops en andere consumentenapparaten. Dit stelt hen in staat om enorme hoeveelheden data te verwerken en, belangrijker nog, er belangrijke inzichten uit te halen.
Bij uitbreiding zijn AI-supercomputers degenen die de volgende generatie AI-algoritmen kunnen uitvoeren. Ze bestaan uit honderdduizenden individuele processors, een gespecialiseerde netwerk, en een aanzienlijke hoeveelheid opslagruimte. Omdat er zoveel processors zijn, voert elk slechts een klein deel van het werk uit en communiceert het met de anderen om de verwerkingssnelheid te verhogen.
Hoewel AI-supercomputers misschien complex lijken, beheren standaardbesturingssystemen zoals Linux applicaties, netwerken het plannen van taken. Maar met dichtbevolkte printplaten hebben ze de neiging heet te worden en hebben ze een uitgebreid koelsysteem nodig met circulerend koelmiddel en geforceerde lucht die warmte afvoert.
Er wordt voorspeld dat de supercomputermarkt zal ervaren een CAGR van 9.5% tot 2026 gebaseerd op de toegenomen acceptatie van wolk informatica en aanverwante technologieën.
Deze toename zal ook worden veroorzaakt door de behoefte aan systemen die enorme datasets aankunnen om AI-modellen te trainen en te bedienen. Volgens OpenAI is de rekenkracht die nodig is om dergelijke modellen te trainen, geweest verdubbeling elke 3.4 maanden.
Waarom zijn AI-supercomputers van belang in de context van het huidige AI-paradigma?
De transformator architectuur heeft het AI-paradigma volledig verschoven en uiteindelijk AI getransformeerd van smal naar gespecialiseerd.
Maar om die verandering commercieel levensvatbaar en waardevol te laten worden, moest dat wel schaal; hoe?
Door het mogelijk te maken dat grote taalmodellen worden getraind op een enorme hoeveelheid gegevens, door deze op te splitsen in miljarden parameters en door ze lang genoeg te trainen om een AI-engine voor algemeen gebruik te creëren, die vervolgens kan worden aangepast.
Dit hele proces vereiste een enorme hoeveelheid berekeningen en geen enkele berekening. Deze grote taalmodellen zouden dat wel doen schaal via een transformatorarchitectuur die parallel computing vereiste, bereikt via een speciaal soort chip genaamd GPU.
Dus een stel krachtige GPU's, georganiseerd rond een specifieke architectuur, geoptimaliseerd voor parallel computergebruik op de wolk, maakte eerst grote taalmodellen zoals GPT en tools zoals ChatGPT levensvatbaar.
Onderliggend aan de GPT-modellen van OpenAI en ChatGPT is er inderdaad de Microsoft Azure AI Supercomputer, waarop Microsoft heeft sinds 2019 miljarden uitgegeven om te consolideren.
OpenAI heeft de basislaag van de AI gebouwd -industrie. Met grote generatieve modellen zoals GPT-3 en DALL-E, biedt OpenAI API-toegang aan bedrijven die applicaties willen ontwikkelen bovenop de basismodellen, terwijl ze deze modellen in hun producten kunnen pluggen en deze modellen kunnen aanpassen met eigen gegevens en aanvullende AI Kenmerken. Aan de andere kant heeft OpenAI ook ChatGPT uitgebracht, ontwikkeld rond een freemium model. Microsoft commercialiseert ook openerproducten via haar commerciële samenwerking.
Vandaag de AI bedrijfsdeskundigen architectuur bestaat uit drie belangrijke paradigma's:
De software paradigma (van zeer smal en omslachtig tot algemeen en zeer trainbaar).
Hoe kunnen AI-supercomputers zware werklasten aan?
Er zijn drie kerncomponenten.
Schakelingen
Zeer kleine draadverbindingen zorgen ervoor dat de printplaat met meer vermogen kan worden belast in vergelijking met die in een standaard desktop-pc. Hierdoor kunnen rekenkundige en logische bewerkingen op een sequentiële manier worden geïnterpreteerd en uitgevoerd.
Nodes
AI-supercomputers hebben talloze CPU's om een hoge rekensnelheid mogelijk te maken. Elk van deze CPU's (nodes) heeft 10 tot 12 cores en er zijn vaak duizenden nodes binnen een architectuur. Werk prestatie ligt vaak in het bereik van biljoenen cycli per seconde.
In behandeling
AI-supercomputers voeren meerdere workloads tegelijk uit met parallelle verwerking. Aangezien duizenden taken tegelijk worden uitgevoerd, is het werk in enkele milliseconden voltooid.
Hierdoor kunnen bedrijven met precisie snellere en nauwkeurigere AI-modellen trainen. Ze kunnen ook belangrijke inzichten toepassen op processen, meer scenario's testen en uiteindelijk de industrieën waarin ze actief zijn vooruit helpen.
Voorbeelden van AI-supercomputers
meta
In januari 2022 kondigde Meta zijn AI Research SuperCluster (RSC) aan en voorspelde dat het halverwege het jaar de snelste supercomputer ter wereld zou worden. RSC werd aanvankelijk gebruikt om modellen in de computer te trainen visie en NLP, maar het bedrijf hoopt op een dag modellen te trainen met biljoenen parameters.
Dit zou RSC in staat stellen om “werk in honderden verschillende talen; naadloos analyseren tekst, afbeeldingen en video's samen; nieuwe augmented reality-tools ontwikkelen, en nog veel meer”. Met andere woorden, RSC zal een belangrijke rol spelen in de ontwikkeling van de Metaverse.
Microsoft
Microsoft bouwde in 2020 een supercomputer voor OpenAI als onderdeel van zijn substantiële investering in het bedrijf. Ontworpen voor OpenAI's machine learning-onderzoek, Microsoft's naamloze supercomputer heeft 285,000 CPU-cores, 10,000 GPU's en zo'n 400 gigabit per seconde aan netwerkconnectiviteit.
De supercomputer wordt gehost in Azure en werd gezien als de eerste stap om krachtige AI-modellen beschikbaar te maken voor andere ontwikkelaars en organisaties om op voort te bouwen.
Nvidia
Nvidia's Cambridge-1 werd gelanceerd in juli 2021 en werd de krachtigste supercomputer in het Verenigd Koninkrijk genoemd. Het zou voornamelijk worden gebruikt door de beste wetenschappers en gezondheidswerkers van het land om de digitaal biologische revolutie.
Het bedrijf merkte op dat zijn AI-supercomputer kan worden opgenomen in nanotechnologieën om dementie beter te begrijpen. Als alternatief zou het kunnen worden gebruikt om de nauwkeurigheid van het identificeren van ziekteveroorzakende variaties in menselijke gensequenties te verbeteren.
Key afhaalrestaurants
AI-supercomputers zijn ultrasnelle processors die enorme hoeveelheden data kunnen beheren en interpreteren schaal. Om de volgende generatie AI-algoritmen uit te voeren, bestaan ze uit honderdduizenden individuele processors, een gespecialiseerde netwerk, en een aanzienlijke hoeveelheid opslagruimte.
Er wordt voorspeld dat de supercomputermarkt tot 9.5 een CAGR van 2026% zal doormaken op basis van de toegenomen acceptatie van wolk technologie en de behoefte aan systemen die enorme datasets aankunnen om AI te trainen en te bedienen.
Drie opmerkelijke AI-supercomputervoorbeelden zijn Meta's AI Research SuperCluster (RSC), Nvidia's Cambridge-1 en Microsoft's naamloze supercomputer die speciaal is gebouwd voor machine learning-onderzoek bij OpenAI.
Belangrijkste kenmerken
Overzicht AI-supercomputers:
AI-supercomputers zijn krachtige processors die zijn ontworpen om grote hoeveelheden gegevens te verwerken en complexe AI-algoritmen uit te voeren.
Ze bestaan uit talrijke individuele verwerkers, een gespecialiseerde netwerken aanzienlijke opslagcapaciteit.
Deze supercomputers maken gebruik van parallel computing, waarbij meerdere taken tegelijkertijd worden uitgevoerd om hoge verwerkingssnelheden te bereiken.
Belang in het AI-paradigma:
AI-supercomputers spelen een cruciale rol bij het mogelijk maken van de training en werking van grote taalmodellen zoals GPT-3.
De transformatorarchitectuur, die in grote taalmodellen wordt gebruikt, vereist aanzienlijke berekeningen, vaak bereikt met behulp van gespecialiseerde chips zoals GPU's.
Microsoft Azure AI Supercomputer ondersteunt de GPT-modellen en ChatGPT van OpenAI.
Componenten en functionaliteit:
Circuits: AI-supercomputers gebruiken kleine draadverbindingen voor efficiënte stroomvoorziening distributie, waardoor opeenvolgende uitvoering van bewerkingen mogelijk is.
Knooppunten: Elke supercomputer heeft talrijke CPU's (knooppunten) met meerdere kernen, wat een hoge rekensnelheid oplevert.
Parallelle verwerking: Supercomputers voeren meerdere taken tegelijkertijd uit, waardoor complexe werklasten snel kunnen worden voltooid.
Voordelen en toepassingen:
AI-supercomputers maken een snellere en nauwkeurigere training van AI-modellen mogelijk.
Bedrijven kunnen waardevolle inzichten verwerven, scenario's testen en verschillende industrieën vooruit helpen.
Voorbeelden van AI-supercomputers:
Meta's AI Research SuperCluster (RSC): Gericht om 's werelds snelste supercomputer te zijn, gericht op trainingsmodellen in computer visie en NLP voor Metaverse-ontwikkeling.
De supercomputer van Microsoft: gebouwd voor OpenAI met 285,000 CPU-kernen, 10,000 GPU's en gehost in Azure. Ondersteunt AI model ontwikkeling.
Nvidia's Cambridge-1: ook wel de krachtigste supercomputer in Groot-Brittannië genoemd, die door wetenschappers en gezondheidswerkers wordt gebruikt voor medisch en biologisch onderzoek.
Marktvoorspellingen:
De verwachting is dat de AI-supercomputermarkt tot 9.5 een samengesteld jaarlijks groeipercentage (CAGR) van 2026% zal kennen.
De groei wordt gedreven door toegenomen wolk adoptie van technologie en de noodzaak om grote datasets te verwerken voor AI-training.
Gegeneraliseerde AI bestaat uit apparaten of systemen die zelfstandig allerlei taken aankunnen. De uitbreiding van gegeneraliseerde AI leidde uiteindelijk tot de ontwikkeling van Machine Learning. Als uitbreiding op AI analyseert Machine Learning (ML) een reeks computeralgoritmen om een programma te maken dat acties automatiseert. Zonder expliciete programmeeracties kunnen systemen leren en de algehele ervaring verbeteren. Het onderzoekt grote datasets om gemeenschappelijke patronen te vinden en analytische modellen te formuleren door middel van leren.
Machine learning is een subset van kunstmatige intelligentie waarbij algoritmen gegevens analyseren, leren van ervaringen en in de toekomst betere beslissingen nemen. Diep leren is een subset van machine learning waarbij talloze algoritmen in lagen zijn gestructureerd om kunstmatige neurale netwerken (ANN's) te creëren. Deze netwerken kunnen complexe problemen oplossen en de machine in staat stellen zichzelf te trainen om een taak uit te voeren.
DevOps verwijst naar een reeks praktijken die worden uitgevoerd om geautomatiseerd uit te voeren software ontwikkelingsprocessen. Het is een vervoeging van de term 'ontwikkeling' en 'operations' om te benadrukken hoe functies in IT-teams integreren. DevOps-strategieën bevorderen het naadloos bouwen, testen en implementeren van producten. Het is bedoeld om een brug te slaan tussen ontwikkelings- en operationele teams om de ontwikkeling volledig te stroomlijnen.
AIOps is de toepassing van kunstmatige intelligentie op IT-operaties. Het is vooral nuttig geworden voor moderne IT management in gehybridiseerde, gedistribueerde en dynamische omgevingen. AIOps is een belangrijk operationeel onderdeel geworden van modern digitaal-gebaseerde organisaties, gebouwd rond software en algoritmen.
Machine Learning Ops (MLOps) beschrijft een reeks best practices die met succes helpen een bedrijfsdeskundigen kunstmatige intelligentie uitvoeren. Het bestaat uit de vaardigheden, workflows en processen om machine learning-modellen te maken, uit te voeren en te onderhouden om verschillende operationele processen binnen organisaties te helpen.
OpenAI is een onderzoekslaboratorium voor kunstmatige intelligentie dat is overgegaan in een bedrijf met winstoogmerk organisatie in 2019. Het bedrijf structuur is georganiseerd rond twee entiteiten: OpenAI, Inc., een Delaware LLC met één lid dat wordt gecontroleerd door OpenAI non-profitorganisatie, en OpenAI LP, een afgetopte onderneming met winstoogmerk organisatie. De OpenAI LP wordt bestuurd door het bestuur van OpenAI, Inc (de stichting), die optreedt als General Partner. Tegelijkertijd bestaan Limited Partners uit werknemers van de LP, enkele bestuursleden en andere investeerders zoals de liefdadigheidsstichting van Reid Hoffman, Khosla Ventures, en Microsoft, de grootste investeerder in de LP.
OpenAI heeft de basislaag van de AI gebouwd -industrie. Met grote generatieve modellen zoals GPT-3 en DALL-E, biedt OpenAI API-toegang aan bedrijven die applicaties willen ontwikkelen bovenop de basismodellen, terwijl ze deze modellen in hun producten kunnen pluggen en deze modellen kunnen aanpassen met eigen gegevens en aanvullende AI Kenmerken. Aan de andere kant heeft OpenAI ook ChatGPT uitgebracht, ontwikkeld rond een freemium model. Microsoft commercialiseert ook openerproducten via haar commerciële samenwerking.
OpenAI en Microsoft vanuit commercieel oogpunt samenwerken. De geschiedenis van het partnerschap begon in 2016 en werd geconsolideerd in 2019, met Microsoft een miljard dollar in de samenwerking investeren. Het maakt nu een sprong voorwaarts, met Microsoft in gesprek om $ 10 miljard in dit partnerschap te steken. Microsoft ontwikkelt via OpenAI zijn Azure AI Supercomputer terwijl het zijn Azure Enterprise Platform verbetert en de modellen van OpenAI integreert in zijn bedrijfsdeskundigen en consumentenproducten (GitHub, Office, Bing).
Stability AI is de entiteit achter Stable Diffusion. Stabiliteit verdient geld aan onze AI-producten en aan het leveren van AI-adviesdiensten aan bedrijven. Stability AI genereert inkomsten met Stable Diffusion via de API's van DreamStudio. Hoewel het ook open-source vrijgeeft voor iedereen om te downloaden en te gebruiken. Stabiliteit AI verdient ook geld via onderneming services, waar het kernontwikkelteam de kans toe biedt onderneming klanten te bedienen, schaal, en Stable Diffusion of andere grote generatieve modellen aanpassen aan hun behoeften.
Gennaro is de maker van FourWeekMBA, die alleen al in 2022 ongeveer vier miljoen zakenmensen bereikte, bestaande uit C-level executives, investeerders, analisten, productmanagers en aspirant-digitale ondernemers | Hij is ook Director of Sales voor een hightech scale-up in de AI-industrie | In 2012 behaalde Gennaro een International MBA met de nadruk op Corporate Finance en Business Strategy.
Ontdek meer van FourWeekMBA
Abonneer u nu om te blijven lezen en toegang te krijgen tot het volledige archief.
