Hoe werkt ChatGPT? De techniek eenvoudig uitgelegd

Er is één ding dat de afgelopen jaren op ieders lippen heeft gelegen: ChatGPT.

Leraren zorgen dat het huiswerk van studenten wordt geschreven. 

Schrijvers vrezen dat AI boeken en verhalen zal schrijven in hun plaats. 

Coders zijn bang dat het beter websites en apps zal bouwen dan mensen dat kunnen. 

Sommigen voorspellen zelfs dat miljoenen banen kunnen verdwijnen vanwege AI. 

We hebben er allemaal wel eens van gehoord. Maar heb je je ooit afgevraagd hoe Werkt ChatGPT? 

Hoe schrijft ChatGPT het huiswerk van een kind? Wat gebeurt er achter de schermen als je een vraag intypt en het antwoord een echt persoon lijkt? 

Hoe kan een machine gedichten, verhalen en code schrijven, ook al begrijpt hij woorden niet zoals wij dat doen?

In deze blog, we kijken binnenin ChatGPT en leg stap voor stap uit wat ChatGPT is en hoe het werkt.

Je leert hoe het dingen onthoudt, wat de beperkingen zijn en hoe hulpmiddelen als deze überhaupt worden gebouwd. 

Laten we beginnen!

De Stichting: GPT-taalmodellen

ChatGPT is een AI die gemaakt is om te begrijpen en te schrijven als een mens. 

Het heet een taalmodel omdat het met taal werkt - lezen, voorspellen en genereren. 

Maar het begrijpt niet zoals mensen dat doen. Het denkt niet. Het kent geen feiten. Het kijkt alleen naar patronen. 

Bijvoorbeeld, 

• Als je typt, "De lucht is..."
• Het zou kunnen zeggen "blauw." 

Niet omdat het weet dat de lucht blauw is, maar omdat het die zin miljoenen keren heeft gezien tijdens de training. Het heeft geleerd dat "blauw" vaak volgt op "de lucht is".

Dit type AI wordt een LLMwat staat voor Groot Taalmodel. 

Het is getraind op tonnen tekstboeken, websites en meer om erachter te komen hoe mensen woorden gebruiken. Maar het leest niet op betekenis. Het leert hoe woorden meestal naast elkaar staan. 

GPT is een specifiek soort LLM.

GPT staat voor "Generatieve voorgetrainde transformator.

• Generatief - het kan nieuwe tekst maken.
• Voorgetraind - het leert voordat het met je praat.
• Transformator - de belangrijkste technologie achter de werking van ChatGPT, die helpt begrijpen hoe woorden zich tot elkaar verhouden in een zin, alinea of zelfs gesprek.

Hier zijn de verschillende versies van GPT die in de loop der jaren zijn gelanceerd.

Hoe ChatGPT werkt

Hier volgt een vereenvoudigd overzicht van hoe ChatGPT werkt en jouw input verwerkt in vijf belangrijke stappen. 

• Stap 1: Voortraining op massieve gegevens

Grote taalmodellen (LLM's) zoals ChatGPT zijn voorgetraind door grote hoeveelheden tekst van het internet te verwerken om taalpatronen te leren. 

Tijdens de pre-training verwerkt het model triljoenen tokens (kleine stukjes tekst). 

A token kan een woord, een deel van een woord of zelfs interpunctie zijn, afhankelijk van hoe het model de invoer toekent. 

Bijvoorbeeld, 

Je stelt ChatGPT een wiskundige vraag, zoals:

Probleem:

• 2 + 3 = ? 

Tijdens de training leest ChatGPT honderden miljarden woorden uit boeken, nieuws, artikelen, Wikipedia, verhalen, wetenschappelijke artikelen en zelfs Reddit threads.

Door deze training en het lezen begrijpt het hoe optellen werkt. 

Bijvoorbeeld,

Het zou de commutatieve eigenschap (bijvoorbeeld 2 + 3 = 3 + 2) via dergelijke contexten.

ChatGPT ziet veel voorbeelden zoals 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Het leert niet alleen deze specifieke voorbeelden, het leert het patroon van optellen. 

Het begrijpt hoe getallen samenwerken met het "+"-symbool en hoe het resultaat meestal volgt op het "="-symbool. 

• Stap 2: De transformatorarchitectuur

Toen ChatGPT eenmaal een enorme hoeveelheid woorden had gezien, had het een brein nodig dat al die informatie kon begrijpen. Dat brein van AI heet "Transformer.

Wat de Transformer onderscheidt, is zijn vermogen om aandacht richten op de belangrijkste delen van de invoer, net zoals we taal verwerken. 

Bijvoorbeeld,

Laten we dit toepassen op een wiskundeprobleem:

• "Wat is de som van 5 en 7?"

Bij het verwerken gaat de Transformer niet woord voor woord te werk. 

In plaats daarvan wordt de volledige context - "som", "5" en "7" - in één keer bekeken. 

Het erkent dat "som" verwijst naar "toevoeging" en dat "5" en "7" de betrokken getallen zijn. 

De Transformator geeft dan meer "aandacht" naar de woorden die direct van invloed zijn op het antwoord, dus het richt zich op de bewerking ("som") en de getallen ("5" en "7"). 

Dit is een belangrijk onderdeel van hoe ChatGPT werkt - het verwerkt het probleem niet lineair, maar op een manier die helpt om de relatie tussen de elementen te begrijpen. 

Dit vermogen om alles in context te bekijken is wat de Transformer zo krachtig maakt. 

In plaats van uit te zoeken wat er komt, begrijpt het de betekenis door de relevante stukjes van de zin met elkaar te verbinden. 

• Stap 3: Tokenization en taalverwerking

Wanneer je tekst in ChatGPT typt, breekt het je prompt op in kleine penningen. 

Sommige tokens zijn volledige woorden, terwijl andere slechts delen van woorden zijn. 

Bijvoorbeeld, 

Wanneer u het volgende invoert "ChatGPT is slim. ChatGPT splitst het op in de volgende tokens:

["Chat," "G," "PT," "is," "slim"]

Zelfs de naam "ChatGPT" wordt opgesplitst in verschillende tokens. 

Dit proces wordt tokenisatie. Omdat de modellen zijn getraind op tokens in plaats van volledige woorden, is het veel flexibeler wat het aankan:

Meerdere talen (omdat verschillende talen verschillende woordstructuren hebben),

Slang en afkortingen (zoals "u" voor "jij" of "idk" voor "ik weet het niet").

Zelfs verzonnen woorden of variaties (zoals het opsplitsen van "unbelievable" in "un," "believ," "able"). 

• Stap 4: Fijnafstemming en veiligheidslagen

Als ChatGPT eenmaal is getraind op een enorme hoeveelheid gegevens, is het nog niet helemaal klaar voor prime time. 

Het heeft nog steeds hulp nodig om ervoor te zorgen dat het op de meest nuttige, beleefde en veilige manier reageert. 

Via verfijning onder toezichtMenselijke beoordelaars geven ChatGPT voorbeelden van wat een goed antwoord is. Bijvoorbeeld, 

• "Wat is 5 + 7?"
  • Slecht antwoord: Het is een makkelijke vraag. Waarom weet je dit niet?
  • Goed antwoord: De som van 5 en 7 is 12. 

Na verloop van tijd wordt ChatGPT getraind met betere voorbeelden om beleefder, duidelijker en gerichter te worden. 

Zodra het een solide basis heeft, krijgt het meer geavanceerde hulp via Versterking leren door menselijke feedback (RLHF).

Dit proces gaat als volgt:

• ChatGPT geeft antwoord. 
• Mensen Dat antwoord is gebaseerd op hoe goed het is - hoe nuttig, nauwkeurig en veilig het is. 
• ChatGPT leert uit deze feedback en probeert in de toekomst betere antwoorden te geven. 

Bijvoorbeeld, Stel je voor dat ChatGPT een wiskundeprobleem beantwoordt, zoals "Wat is 12 gedeeld door 4?": 

• ChatGPT antwoordt: "3."
• Menselijke feedback: Dit antwoord is geweldig. 
• ChatGPT leert: Het blijft dit type antwoord geven wanneer soortgelijke vragen worden gesteld. 

Het doel is dat ChatGPT zich blijft verbeteren, net als een student die leert van eerdere fouten. 

Tot slot is een belangrijk doel van fijnafstemming door mensen de op één lijn staan met menselijke waarden. 

We willen dat het niet alleen slim is, maar ook behulpzaam, onschuldig en eerlijk. 

Bijvoorbeeld, als een gebruiker een complexe vraag stelt zoals, "Wat is de vierkantswortel van -1?" 

In plaats van een fout antwoord te geven zoals "i is het antwoord" zonder enige context, zou het antwoord geven:

Veilig, uitgelijnd antwoord: De vierkantswortel van -1 is een imaginair getal, meestal weergegeven als 'i'. Dit concept wordt gebruikt in wiskunde voor gevorderden. 

• Stap 5: Prompt In, Reactie Uit

Dit is de laatste stap waarbij ChatGPT klaar is om je vragen te beantwoorden. 

Een prompt is de tekst (d.w.z. vraag, opdracht of verklaring) die je in ChatGPT typt om het gesprek te starten en een reactie te krijgen. 

Bijvoorbeeld, 

U voert de prompt in "Wat voor weer is het vandaag?" 

Dit is hoe ChatGPT achter de schermen werkt:

Je typt een prompt in → ChatGPT breekt het in tokens → Het zoekt naar patronen in de tokens → Voorspelt het volgende woord → Vormt een antwoord → Past de toon aan op basis van je tekst → Krijgt je uiteindelijke antwoord

Voor de prompt "Wat voor weer is het vandaag?", ChatGPT zou waarschijnlijk reageren met iets als: 

"Ik kan geen realtime weerupdates geven, maar je kunt een weersite of app zoals Weather.com of je lokale nieuws raadplegen voor de meest nauwkeurige info."

Dit komt omdat ChatGPT geen live gegevenstoegang heeft tenzij het verbonden is met een tool die real-time informatie ophaalt. 

Hoe het gesprekken "onthoudt

Als je met ChatGPT praat, lijkt het alsof het dingen onthoudt die je eerder hebt gezegd. 

En dat doet het ook, maar alleen als de chat geopend is. Stel je een groot notitieblok voor waar alles wat je typt wordt opgeschreven: 

Je zegt:

• Mijn hond heet Max.

Een paar regels later zeg je:

• Welke trucjes kan Max leren?

ChatGPT verbindt de puntjes. Het herinnert zich dat Max jouw hond is, omdat het nog steeds op het notitieblok staat. 

Dit notitieblok wordt een contextvenster, en het bevat een beperkt aantal woorden (tokens genoemd). 

Sommige versies kunnen ongeveer 8.000 tokens bevatten, terwijl de nieuwste versies tot 32.000 tokens kunnen gaan. 

Maar als je eenmaal de limiet hebt bereikt, moet het beginnen met het wissen van de oudste delen om ruimte te maken voor nieuwe tekst. 

Dus als je zegt "Mijn hond heet Max". ver terug aan het begin van een lang gesprek - en dan 50 alinea's later vragen, "Wat is een goede riem voor hem?" - het zou kunnen vergeten wie "hij" is. 

Omdat die informatie al uit het notitieblok is gewist. 

Laten we het nu hebben over het geheugen tussen chats.

Normaal gesproken wordt het notitieblok schoongeveegd als je de chat sluit. 

Dus de volgende keer dat je ChatGPT opent, begint het opnieuw.

 Maar als je aangepast geheugen inschakelt, kan ChatGPT dingen onthouden in verschillende sessies. Bijvoorbeeld, 

• Vertel jij het maar: Ik heb een kleine online bakkerij genaamd Sweet Crumbs. 
• Een week later zeg je: Schrijf een productbeschrijving voor me. 
• Het zou kunnen antwoorden: Zeker! Hier is een beschrijving voor je Sweet Crumbs koekjes...

Het onthoudt niet alles. Het onthoudt alleen wat je toestaat en je krijgt een seintje als er iets wordt toegevoegd. Je kunt op elk moment herinneringen bekijken, bewerken of verwijderen.

Dus het zit zo... 

ChatGPT doet eigenlijk niet "onthouden" als een persoon. Het kijkt alleen naar wat er voor hem staat - het huidige gesprek.

Als het lijkt alsof het iets terugroept van eerder, dan is dat omdat die informatie nog steeds in het contextvenster staat.

Beperkingen van hoe ChatGPT werkt

ChatGPT is ongelooflijk nuttig, maar het is belangrijk om de beperkingen ervan te begrijpen, vooral als je het gebruikt voor iets klantgerichts of conversiegedreven. 

1 - Geen echt begrip of bewustzijn
ChatGPT begrijpt inhoud niet zoals mensen dat doen. Het "kent" geen feiten - het voorspelt gewoon het volgende waarschijnlijke woord op basis van trainingsgegevens. 

Bijvoorbeeld, 

Als je het vraagt, "Wat betekent succes?" Het kan een vloeiende respons genereren, maar het heeft geen overtuigingen, waarden of bewustzijn. Het bootst patronen na, geen inzichten.

2 - Vertekeningen van trainingsgegevens
Omdat ChatGPT is getraind op grote, gemengde bronnen van het internet, boeken, forums en artikelen, kan het vooroordelen erven die in die gegevens voorkomen. 

Als het internet een bepaalde kant op gaat over een onderwerp, kan ChatGPT dat perspectief weerspiegelen - soms subtiel, soms niet - zelfs als neutraliteit vereist is.

3 - Surft niet op het internet
ChatGPT kan geen real-time gegevens ophalen. Als je het vraagt naar een product dat vorige week is gelanceerd of een aandelenkoers van vandaag, dan heeft het geen flauw idee. 

De trainingsgegevens hebben een cutoff en alles na dat punt is buiten bereik.

4 - kan feiten "hallucineren" of valse bronnen aanhalen
Een van de gevaarlijkere eigenaardigheden: ChatGPT kan dingen verzinnen. Vraag het om een statistiek of citaat en het kan antwoorden,

"Volgens de Wereldgezondheidsorganisatie verkiest 80% van de volwassenen merk X boven merk Y."

Klinkt officieel, maar die statistiek bestaat waarschijnlijk niet. 

Het werd niet opgehaald, het werd uitgevonden. Deze kwestie staat bekend als hallucinatieen het is vooral riskant in onderzoek, journalistiek of technische inhoud. 

Als je ChatGPT vraagt hoe het werkt, zul je zien dat het niet altijd feitelijk accuraat is.

Als je ChatGPT voor schrijfdoeleinden gebruikt, zou de uitvoer stijf en robotachtig aanvoelen, of dat menselijke randje missen. 

Voor dergelijke nuances kun je AI Humanizer. 

De AI Humanizer herschrijft ChatGPT-uitvoer voor toon, nuance en emotie, waardoor je inhoud een hartslag krijgt. 

Het verzacht lastige frasering, voegt warmte toe, en zorgt ervoor dat technische of droge tekst aanslaat bij je publiek.

Als je inhoud menselijk klinkt, presteert deze beter. 

Of je nu landingspagina's, e-mails of LinkedIn-posts schrijft, relateerbaarheid zorgt voor respons. En emotie zorgt voor conversie.

Verbeteringen in GPT-4 vs GPT-3.5

GPT-3.5 is de gratis versie, die snel en degelijk is en geweldig voor eenvoudige taken. GPT-4 is een betaalde versie van OpenAI die slimmer, krachtiger en veel nuttiger is. 

Dit is hoe ChatGPT werkt met beide modellen:

GPT-3.5 was nuttig. GPT-4 is betrouwbaar, doordacht en voelt alsof het luistert.

Ga op onderzoek uit - onze AI Detector en Humanizer staan klaar in de widget hieronder!

Hoe AI-tools zoals ChatGPT zijn gebouwd

Het maken van een AI zoals ChatGPT of andere grote taalmodellen is een meerjarenproject waarbij enorme datasets, teams van experts en niet aflatende iteratie komen kijken. 

Dit is hoe het meestal gebeurt: 

1. Fase één: gegevensverzameling (6-12 maanden)

Doel: Leer het model taalpatronen.

Voordat een AI vragen kan beantwoorden, moet het leren hoe mensen schrijven en spreken. 

Dit begint met het verzamelen van honderden miljarden woorden uit boeken, websites, nieuws, artikelen, academische papers en meer. 

Het "leest" niet zoals mensen. In plaats daarvan identificeert het patronen, precies zoals we in de bovenstaande paragrafen hebben uitgelegd.

Benodigde tijd: 6-12 maanden, afhankelijk van schaal en teamgrootte. 

2. Fase twee: het model voortrainen (6-9 maanden)

Doel: De hersenen opbouwen.

Voortraining houdt in dat je het model grote hoeveelheden tekst geeft en het steeds opnieuw ontbrekende woorden laat voorspellen totdat het ze goed begint te vinden. 

Deze fase vereist vaak krachtige GPU-clusters en honderden miljoenen dollars aan computermiddelen. 

Benodigde tijd: 6-9 maanden non-stop GPU-training.

3. Derde fase: Fine-tuning en menselijke feedback (3-6 maanden)

Doel: Maak de AI nuttig.

Nu kan het spreken - maar heeft het zin? Misschien of misschien ook niet. Op dit punt beoordelen menselijke beoordelaars de uitvoer, corrigeren ze fouten en sturen ze het model met behulp van Reinforcement Learning from Human Feedback (RLHF).

Benodigde tijd: 3-6 maanden, vaak in combinatie met vroege testen.

4. Vierde fase: Uitrol en infrastructuur (lopend)

Doel: Maak het schaalbaar.

Eenmaal getraind wordt het model ingezet op websites, apps, API's en bedrijfsplatformen. Dit vereist een serieuze backend-infrastructuur: datacenters, automatisch schalende API's en load-balancing systemen om miljoenen gelijktijdige gebruikers aan te kunnen.

Tijdsbestek: Begint na de training, maar duurt onbepaalde tijd.

5. Fase Vijf: Veiligheid, vooringenomenheid en ethiek (doorlopend, parallel)

Doel: Houd het veilig, eerlijk en niet-schadelijk.

Bij AI gaat het niet alleen om intelligentie, maar ook om verantwoordelijkheid. Ethische teams werken parallel om potentieel misbruik te signaleren, vooroordelen te verminderen, schadelijke inhoud te blokkeren en privacystandaarden te handhaven. Ze evalueren voortdurend hoe het model zich in de echte wereld gedraagt.

Tijdsbestek: Levenslang proces; ingebed in elke fase hierboven.

Veelgestelde vragen over hoe ChatGPT werkt

Eindgedachten

Grote taalmodellen (LLM's) hebben de manier waarop we met technologie omgaan veranderd.

Ze kunnen tekst maken die klinkt alsof het door een mens is geschreven en helpen met taken als het beantwoorden van vragen en het maken van creatieve content. 

Maar LLM's doen dat niet "begrijpen" dingen of denken als mensen. Ze werken door patronen in gegevens te voorspellen, niet door echt menselijk denken. 

Naarmate LLM's beter worden, moeten we nadenken over de problemen die ze kunnen veroorzaken, zoals vooroordelen, privacyproblemen en misbruik. 

Het is belangrijk om AI zorgvuldig te gebruiken en ervoor te zorgen dat het eerlijk en transparant is en geen valse informatie verspreidt of de privacy schaadt. 

Dit zijn de gebruiksrichtlijnen: 

• Wees je ervan bewust dat AI een vooroordeel kan hebben in zijn inhoud.
  
• Gebruik AI-tools op een manier die in overeenstemming is met de privacyregels.
  
• Dubbelcheck belangrijke informatie van betrouwbare bronnen.
  
• Vertrouw niet te veel op AI. Het is een hulpmiddel, geen vervanging voor menselijk denken.

Nu AI-technologie steeds krachtiger wordt, rijst de vraag: Hoe kunnen we ervoor zorgen dat de vooruitgang op dit gebied de menselijke creativiteit en besluitvorming versterkt, in plaats van juist die dingen te vervangen die ons uniek menselijk maken?