Hogyan működik a ChatGPT? A technika egyszerűen elmagyarázva

Van egy dolog, ami az elmúlt években mindenkinek a nyelvén volt: ChatGPT.

Tanárok aggódni, hogy a diákok házi feladatát írja. 

Írók attól félnek, hogy a mesterséges intelligencia könyveket és történeteket ír helyettük. 

Kódolók félnek, hogy jobban fog weboldalakat és alkalmazásokat készíteni, mint az emberek. 

Egyesek még azt is megjósolják, hogy munkahelyek milliói szűnhetnek meg az AI miatt. 

Mindannyian hallottunk róla. De elgondolkodtál már azon. hogyan ChatGPT működik? 

Hogyan írja meg a ChatGPT a gyerekek házi feladatát? Mi történik a színfalak mögött, amikor beírsz egy kérdést, és úgy válaszol, mint egy valódi személy? 

Hogyan tud egy gép verseket, történeteket és kódokat írni, annak ellenére, hogy nem érti a szavakat úgy, ahogy mi?

Ebben a blogban, belenézünk ChatGPT és lépésről lépésre elmagyarázza, mi a ChatGPT és hogyan működik.

Megtudhatod, hogyan emlékszik a dolgokra, mik a korlátai, és hogyan épülnek az ilyen eszközök. 

Kezdjük el!

Az alapítvány: GPT nyelvi modellek

A ChatGPT egy olyan mesterséges intelligencia, amely úgy érti és ír, mint egy ember. 

Ezt hívják nyelvi modell mert a nyelvvel dolgozik - olvassa, megjósolja és létrehozza azt. 

De nem úgy érti, mint az emberek. Nem gondolkodik. Nem ismeri a tényeket. Csak a mintákat nézi. 

Például, 

• Ha beírja, "Az ég..."
• Lehet, hogy azt mondja "kék." 

Nem azért, mert tudja, hogy az ég kék, hanem mert ezt a mondatot milliószor látta a kiképzés során. Megtanulta, hogy a "kék" gyakran a "kék az ég" után következik.

Az ilyen típusú mesterséges intelligenciát nevezik LLM, ami a következő rövidítéssel értendő Nagy nyelvi modell. 

Rengeteg tankönyvön, weboldalon és egyéb módon képezte ki magát, hogy kitalálja, hogyan használják az emberek a szavakat. De nem a jelentésért olvas. Azt tanulja meg, hogy a szavak általában hogyan jelennek meg egymás mellett. 

GPT az LLM egy speciális fajtája.

GPT jelentése "Generatív előképzett transzformátor".

• Generatív - új szöveget hozhat létre.
• Előre kiképzett - megtanulja, mielőtt beszélne veled.
• Transzformátor - a ChatGPT működése mögött álló kulcsfontosságú technológia, amely segít megérteni, hogy a szavak hogyan kapcsolódnak egymáshoz egy mondatban, bekezdésben vagy akár egy beszélgetésben.

Az alábbiakban a GPT különböző változatait ismertetjük, amelyeket az évek során piacra dobtak.

Hogyan működik a ChatGPT

Íme egy egyszerűsített bontás arról, hogyan működik a ChatGPT, és hogyan dolgozza fel az Ön adatait öt kulcsfontosságú lépésben. 

• 1. lépés: Előképzés hatalmas adatokon

Nagy nyelvi modellek (LLM) mint a ChatGPT, az internetről származó hatalmas mennyiségű szöveg feldolgozásával előzetesen betanítják a nyelvi minták megtanulását. 

Az előképzés során a modell a következőket dolgozza fel billiónyi zseton (apró szövegdarabok). 

A token lehet szó, szórészlet vagy akár írásjel is, attól függően, hogy a modell hogyan tokenizálja a bemenetet. 

Például, 

Ön feltesz a ChatGPT-nek egy matematikai kérdést, például:

Probléma:

• 2 + 3 = ? 

A ChatGPT a képzés során több százmilliárd szót olvas el könyvekből, hírekből, cikkekből, Wikipédiából, történetekből, tudományos cikkekből, sőt még Reddit-fonalakból is.

Ez a képzés és az olvasás segít neki megérteni, hogyan működik az összeadás. 

Például,

Lehet, hogy megtanulja a kommutatív tulajdonság (pl. 2 + 3 = 3 + 2) ilyen összefüggéseken keresztül.

A ChatGPT számos példát lát, mint például 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Nem csak ezeket a konkrét példákat tanulja meg, hanem az összeadás mintáját. 

Megérti, hogy a számok hogyan lépnek kölcsönhatásba a "+" szimbólummal, és hogy az eredmény jellemzően az "=" szimbólumot követi. 

• 2. lépés: A transzformátor architektúra

Miután a ChatGPT hatalmas mennyiségű szót látott, szüksége volt egy olyan agyra, amely értelmet tud adni ennek az információnak. Ezt a mesterséges intelligencia agyát úgy hívják "Transformer."

Ami a Transformert megkülönbözteti a többitől, az az a képessége, hogy figyelem összpontosítása a bemenet legfontosabb részeire, hasonlóan ahhoz, ahogyan a nyelvet feldolgozzuk. 

Például,

Alkalmazzuk ezt egy matematikai problémára:

• "Mennyi az 5 és a 7 összege?"

Ennek feldolgozása során a Transformer nem csak szóról szóra halad. 

Ehelyett a teljes kontextust - "összeg", "5" és "7" - egyszerre vizsgálja. 

Elismeri, hogy "sum" utal "kiegészítés" és hogy az "5" és a "7" az érintett számok. 

A Trafó ezután több "figyelem" azokra a szavakra, amelyek közvetlenül befolyásolják a választ, így a műveletre ("összeg") és a számokra ("5" és "7") összpontosít. 

Ez a ChatGPT működésének kulcsfontosságú része - ez nem lineárisan dolgozza fel a problémát, hanem olyan módon, amely segít megérteni az elemek közötti kapcsolatot. 

Ez a képesség, hogy mindent összefüggéseiben vizsgáljon, teszi a Transformert olyan hatékonnyá. 

Ahelyett, hogy csak kitalálná, mi következik, a mondat releváns darabjainak összekapcsolásával érti meg a jelentést. 

• 3. lépés: Tokenizálás és nyelvi feldolgozás

Amikor szöveget írsz a ChatGPT-be, a program a promptot kis méretűre bontja zsetonok. 

Egyes tokenek teljes szavak, míg mások csak szavak részei. 

Például, 

Amikor beírja a "A ChatGPT okos," A ChatGPT a következő tokenekre bontja:

["Chat", "G", "PT", "is", "smart"]

Még a "ChatGPT" név is különböző tokenekre oszlik. 

Ezt a folyamatot hívják tokenizálás. Mivel a modelleket nem teljes szavakra, hanem tokenekre képezték ki, sokkal rugalmasabban kezelhető:

Több nyelven (mivel a különböző nyelvek különböző szószerkezetekkel rendelkeznek),

Szleng és rövidítések (például "u" a "te" helyett vagy "idk" a "nem tudom" helyett).

Még kitalált szavak vagy variációk is (például a "hihetetlen" szó "un"-ra, "hihető"-re, "képes"-re bontása). 

• 4. lépés: Finomhangolás és biztonsági rétegek

Miután a ChatGPT-t hatalmas mennyiségű adaton betanították, még nem áll készen a főműsoridőre. 

Még mindig segítségre van szüksége ahhoz, hogy a lehető leghasznosabb, legudvariasabb és legbiztonságosabb módon válaszoljon. 

A oldalon keresztül felügyelt finomhangolás, az emberi bírálók példákat adnak a ChatGPT-nek arra, hogy mitől lesz jó a válasz. Például, 

• "Mi az 5 + 7?"
  • Rossz válasz: Ez egy egyszerű kérdés. Miért nem tudod ezt?
  • Jó válasz: Az 5 és a 7 összege 12. 

Idővel a ChatGPT-t jobb példákkal képzik ki, hogy udvariasabb, világosabb és koncentráltabb legyen. 

Miután szilárd alapokkal rendelkezik, fejlettebb segítséget kap a következők révén Erősítéses tanulás emberi visszajelzésekből (RLHF).

Ez a folyamat a következőképpen zajlik:

• ChatGPT válaszol. 
• Emberek aránya ez a válasz azon alapul, hogy mennyire jó - mennyire hasznos, pontos és biztonságos. 
• ChatGPT tanul a visszajelzésekből, és a jövőben igyekszik jobb válaszokat adni. 

Például, Képzeljük el, hogy a ChatGPT egy matematikai feladatra válaszol, például "Mennyi 12 osztva 4-gyel?": 

• ChatGPT válaszol: "3."
• Emberi visszajelzés: Ez a válasz nagyszerű. 
• ChatGPT tanul: Folyamatosan ilyen típusú választ ad, amikor hasonló kérdések merülnek fel. 

A cél az, hogy a ChatGPT folyamatosan fejlődjön, akárcsak egy diák, aki tanul a korábbi hibáiból. 

Végül, az emberek által végzett finomhangolás egyik fontos célja a az emberi értékekhez igazodnak. 

Azt szeretnénk, hogy ne csak okos, hanem hasznos, ártalmatlan és őszinte is legyen. 

Például, ha egy felhasználó összetett kérdést tesz fel, mint például, "Mi a -1 négyzetgyöke?" 

Ahelyett, hogy kontextus nélkül adna egy helytelen választ, mint például "i a válasz", a következőket adná:

Biztonságos, összehangolt válasz: A -1 négyzetgyöke egy képzeletbeli szám, amelyet általában "i"-vel ábrázolnak. Ezt a fogalmat a haladó matematikában használják. 

• 5. lépés: Prompt be, válasz ki

Ez az utolsó lépés, amikor a ChatGPT készen áll arra, hogy válaszoljon a kéréseire. 

A prompt az a szöveg (azaz kérdés, parancs vagy kijelentés), amelyet a ChatGPT-be ír be a beszélgetés elindításához és a válaszadáshoz. 

Például, 

Beírja a promptot "Milyen az időjárás ma?" 

Íme, hogyan működik a ChatGPT a színfalak mögött:

Ön beír egy kérést → ChatGPT tokenekre bontja → Mintákat keres a tokenekben → Megjósolja a következő szót → Választ alkot → Hangszínt állít be a szöveg alapján → Megkapja a végleges választ.

A felszólításhoz "Milyen az időjárás ma?", ChatGPT valószínűleg valami olyasmivel válaszolna, mint: 

"Nem tudok valós idejű időjárás-frissítéseket adni, de a legpontosabb információkért megnézhet egy időjárási webhelyet vagy alkalmazást, például a Weather.com-ot, vagy a helyi híreket."

Ez azért van, mert a ChatGPT nem rendelkezik élő adathozzáféréssel, hacsak nem kapcsolódik egy olyan eszközhöz, amely valós idejű információkat nyer. 

Hogyan "emlékszik" a beszélgetésekre

Amikor a ChatGPT-vel beszélsz, úgy tűnik, mintha emlékezne a korábban mondott dolgokra. 

És ez így is van - de csak amíg a csevegés nyitva van. Képzelj el egy nagy jegyzettömböt, ahol minden, amit beírsz, le lesz írva: 

Azt mondod:

• A kutyám neve Max.

Néhány sorral később azt mondja:

• Milyen trükköket tanulhat Max?

A ChatGPT összeköti a pontokat. Emlékszik arra, hogy Max a te kutyád, mert még mindig a jegyzettömbön van. 

Ezt a jegyzettömböt nevezik kontextusablak, és korlátozott számú szót (úgynevezett tokeneket) tartalmaz. 

Egyes verziókban körülbelül 8 000 zseton fér el, míg a legújabbak akár 32 000 zseton is lehet. 

De ha elérte a határt, akkor el kell kezdenie törölni a legrégebbi részeket, hogy helyet csináljon az új szövegnek. 

Tehát ha azt mondod. "A kutyám neve Max" egy hosszú beszélgetés elején - majd 50 bekezdéssel később megkérdezi, "Milyen póráz jó neki?" - talán elfelejti, hogy ki az az "ő". 

Mert ezt az információt már kitörölték a jegyzettömbből. 

Most beszéljünk a csevegések közötti memóriáról.

Normális esetben a csevegés bezárásakor a jegyzettömb kitisztul. 

Így amikor legközelebb megnyitja a ChatGPT-t, az újrakezdődik.

 De ha bekapcsolja az egyéni memóriát, a ChatGPT képes megjegyezni dolgokat a munkamenetek között. Például, 

• Mondd meg te: Egy kis online pékséget vezetek, a Sweet Crumbs-t. 
• Egy héttel később azt mondod: Írjon nekem egy termékleírást. 
• Lehet, hogy válaszolni fog: Persze! Itt van egy leírás a Sweet Crumbs sütikhez...

Nem emlékszik mindenre. Csak azt jegyzi meg, amit engedélyezel, és értesítést kapsz, ha valami hozzáadódik. Az emlékeket bármikor megtekintheti, szerkesztheti vagy törölheti.

Tehát a lényeg a következő... 

A ChatGPT valójában nem "emlékezz" mint egy ember. Csak azt nézi, ami előtte van - az aktuális beszélgetést.

Ha úgy tűnik, mintha felidézne valamit a korábbiakból, az azért van, mert az az információ még mindig a kontextusablakban van.

A ChatGPT működésének korlátai

A ChatGPT hihetetlenül hasznos, de fontos megérteni a korlátait, különösen akkor, ha bármilyen ügyfélkapcsolati vagy konverzióvezérelt feladatra használja. 

1 - Nincs valódi megértés vagy tudatosság
A ChatGPT nem úgy érti a tartalmat, mint az emberek. Nem "ismeri" a tényeket - egyszerűen csak a következő valószínű szót jósolja meg a képzési adatok alapján. 

Például, 

Ha megkérdezed, "Mit jelent a siker?" lehet, hogy folyékony választ generál, de nincsenek hiedelmei, értékei vagy tudatossága. Mintákat utánoz, nem pedig felismeréseket alakít ki.

2 - A képzési adatokból származó torzítások
Mivel a ChatGPT-t az internetről, könyvekből, fórumokból és cikkekből származó nagy, vegyes forrásokon képzik ki, az adatokban található torzításokat örökölheti. 

Ha az internet egy témában egy irányba hajlik, a ChatGPT ezt a nézőpontot tükrözi - néha finoman, néha nem - még akkor is, ha semlegességre van szükség.

3 - Nem böngészik az interneten
A ChatGPT nem tud valós idejű adatokat lekérni. Ha egy múlt héten bevezetett termékről vagy egy mai tőzsdei árfolyamról kérdezi, fogalma sem lesz róla. 

A képzési adatoknak van egy határértéke, és minden, ami e pont után következik, elérhetetlen.

4 - Tényeket "hallucinálhat" vagy hamis forrásokat idézhet.
Az egyik legveszélyesebb furcsaság: A ChatGPT képes kitalálni dolgokat. Kérj tőle egy statisztikát vagy idézetet, és lehet, hogy válaszol,

"Az Egészségügyi Világszervezet szerint a felnőttek 80%-je az X márkát részesíti előnyben az Y márkával szemben."

Hivatalosan hangzik - de ez a statisztika valószínűleg nem létezik. 

Nem visszaszerezték, hanem kitalálták. Ezt a kérdést úgy ismerik, mint hallucináció, és ez különösen kockázatos a kutatás, az újságírás vagy a műszaki tartalom esetében. 

Ha megkérdezed a ChatGPT-t, hogyan működik, látni fogod, hogy nem mindig tényszerűen pontos.

Ha a ChatGPT-t írásra használja, a kimenet merevnek, robotikusnak, vagy az emberi éleket nélkülözőnek tűnne. 

Az ilyen árnyalatokhoz használhatja a AI Humanizer. 

A AI Humanizer átírja a ChatGPT kimenetek hangszínét, árnyalatát és érzelmeit, így adva a tartalomnak szívverést. 

Ez lágyítja a nehézkes megfogalmazást, melegséget ad, és a technikai vagy száraz szövegek is elnyerik a közönség tetszését.

Ha a tartalom emberi hangzású, jobban teljesít. 

Akár céloldalakat, e-maileket vagy LinkedIn-bejegyzéseket írsz, a rokoníthatóság a válaszadás motorja. Az érzelmek pedig a konverziót segítik elő.

A GPT-4 javulásai a GPT-3.5-höz képest

A GPT-3.5 az ingyenes verzió, amely gyors, megbízható és egyszerű feladatokra kiválóan alkalmas. A GPT-4 az OpenAI fizetős változata, amely okosabb, erősebb és sokkal hasznosabb. 

A ChatGPT mindkét modellel így működik:

A lényeg az, hogy a GPT-3.5 hasznos volt. A GPT-4 megbízható, átgondolt, és úgy érzi, hogy figyel.

Kezdje el a felfedezést - az AI Detector és Humanizer az alábbi widgetben vár!

Hogyan épülnek az olyan AI eszközök, mint a ChatGPT

Egy olyan mesterséges intelligencia létrehozása, mint a ChatGPT vagy más nagyméretű nyelvi modellek, többéves projekt, amely hatalmas adathalmazokat, szakértői csapatokat és könyörtelen iterációt igényel. 

Ez jellemzően így történik: 

1. Első szakasz: Adatgyűjtés (6-12 hónap)

Célkitűzés: Tanítsa meg a mintanyelvi mintákat.

Mielőtt egy mesterséges intelligencia válaszolhatna a kérdésekre, meg kell tanulnia, hogyan írnak és beszélnek az emberek. 

Ez azzal kezdődik, hogy több százmilliárd szót gyűjtünk össze könyvekből, weboldalakról, hírekből, cikkekből, tudományos dolgozatokból és így tovább. 

Nem úgy "olvas", mint az emberek. Ehelyett a mintákat azonosítja, ahogyan azt a fenti szakaszokban elmagyaráztuk.

Időigény: 6-12 hónap, a léptéktől és a csapat méretétől függően. 

2. Második szakasz: A modell előképzése (6-9 hónap)

Célkitűzés: Építse az agyat.

Az előképzés során a modellt nagy mennyiségű szöveggel tápláljuk, és hagyjuk, hogy újra és újra megjósolja a hiányzó szavakat, amíg el nem kezdi helyesen találni őket. 

Ez a fázis gyakran erőteljes GPU-klaszterek és több százmillió dollárnyi számítási erőforrás. 

Időigény: 6-9 hónap non-stop GPU-képzés.

3. Harmadik fázis: Finomhangolás és emberi visszajelzés (3-6 hónap)

Célkitűzés: Tegye az AI-t hasznossá.

Most már tud beszélni - de van-e értelme? Talán igen, talán nem. Ezen a ponton az emberi ellenőrök értékelik a kimeneteket, kijavítják a hibákat, és az emberi visszajelzésből történő megerősítő tanulás (Reinforcement Learning from Human Feedback, RLHF) segítségével irányítják a modellt.

Időigény: 3-6 hónap, gyakran a korai teszteléssel párhuzamosan.

4. Negyedik fázis: Kiépítés és infrastruktúra (folyamatban)

Célkitűzés: Tegye skálázhatóvá.

A betanítás után a modell weboldalakon, alkalmazásokban, API-kban és vállalati platformokon kerül alkalmazásra. Ehhez komoly háttér-infrastruktúrára van szükség: adatközpontokra, automatikusan skálázódó API-kra és terheléskiegyenlítő rendszerekre, amelyek több millió egyidejű felhasználó kezeléséhez szükségesek.

Időkeret: A képzés után kezdődik, de határozatlan ideig folytatódik.

5. Ötödik fázis: Biztonság, elfogultság és etika (Folyamatban, párhuzamosan)

Célkitűzés: Legyen biztonságos, őszinte és nem ártalmas.

Az AI nem csak az intelligenciáról szól - hanem a felelősségről is. Az etikai csapatok párhuzamosan dolgoznak a lehetséges visszaélések jelzése, az elfogultság csökkentése, a káros tartalmak blokkolása és az adatvédelmi előírások betartása érdekében. Folyamatosan értékelik, hogyan viselkedik a modell a való világban.

Időkeret: Élethosszig tartó folyamat; minden fenti szakaszba beágyazva.

GYIK a ChatGPT működéséről

Végső gondolatok

A nagy nyelvi modellek (LLM) megváltoztatták a technológiával való interakcióinkat.

Olyan szöveget tudnak létrehozni, amely úgy hangzik, mintha ember írta volna, és olyan feladatokban segítenek, mint a kérdések megválaszolása és a kreatív tartalom készítése. 

De az LLM-ek nem "értem" dolgokat, vagy úgy gondolkodnak, mint az emberek. Az adatokban lévő minták előrejelzésével működnek, nem pedig valódi emberi gondolkodással. 

Ahogy az LLM-ek egyre jobbak lesznek, gondolnunk kell az általuk okozott problémákra, például az elfogultságra, az adatvédelmi problémákra és a visszaélésekre. 

Fontos, hogy a mesterséges intelligenciát körültekintően használjuk, biztosítva, hogy az tisztességes és átlátható legyen, és ne terjesszen hamis információkat, illetve ne sértse a magánéletet. 

Itt vannak a használati útmutató: 

• Legyen tisztában azzal, hogy a mesterséges intelligencia elfogult lehet a tartalmában.
  
• A mesterséges intelligencia eszközeinek használata az adatvédelmi szabályok betartásával.
  
• Ellenőrizze kétszer is a fontos információkat megbízható forrásokból.
  
• Ne hagyatkozzon túlságosan a mesterséges intelligenciára. Ez egy eszköz, nem helyettesíti az emberi gondolkodást.

Ahogy a mesterséges intelligencia technológia egyre erősebbé válik, felmerül a kérdés: Hogyan biztosíthatjuk, hogy a technológia fejlődése fokozza az emberi kreativitást és döntéshozatalt, ahelyett, hogy felváltaná azokat a dolgokat, amelyek egyedivé tesznek minket?