Miten ChatGPT toimii? Tekniikka selitetty yksinkertaisesti

On yksi asia, joka on ollut kaikkien puheissa viimeiset pari vuotta: ChatGPT.

Opettajat huolehtia siitä, että se kirjoittaa oppilaiden kotitehtäviä. 

Kirjailijat pelkäävät, että tekoäly voisi kirjoittaa kirjoja ja tarinoita heidän sijastaan. 

Koodarit pelkäävät, että se rakentaa verkkosivuja ja sovelluksia paremmin kuin ihmiset pystyvät. 

Jotkut jopa ennustavat, että miljoonia työpaikkoja voi kadota tekoälyn takia. 

Olemme kaikki kuulleet siitä. Mutta oletko koskaan miettinyt miten ChatGPT toimii? 

Miten ChatGPT kirjoittaa lapsen kotitehtäviä? Mitä tapahtuu kulissien takana, kun kirjoitat kysymyksen ja se vastaa kuin oikea ihminen? 

Miten kone voi kirjoittaa runoja, tarinoita ja koodia, vaikka se ei ymmärrä sanoja samalla tavalla kuin me?

Tässä blogissa, katsomme sisälle ChatGPT ja selittää vaihe vaiheelta, mikä ChatGPT on ja miten se toimii.

Opit, miten se muistaa asioita, mitkä ovat sen rajoitukset ja miten tällaisia työkaluja ylipäätään rakennetaan. 

Aloitetaan!

Säätiö: GPT-kielimallit

ChatGPT on tekoäly, joka on tehty ymmärtämään ja kirjoittamaan kuin ihminen. 

Sitä kutsutaan kielimalli koska se työskentelee kielen kanssa - lukee sitä, ennustaa sitä ja tuottaa sitä. 

Mutta se ei ymmärrä niin kuin ihmiset ymmärtävät. Se ei ajattele. Se ei tiedä tosiasioita. Se vain katsoo kuvioita. 

Esimerkiksi, 

• Jos kirjoitat, "Taivas on..."
• Siinä voi lukea "sininen." 

Ei siksi, että se tietäisi taivaan olevan sininen, vaan siksi, että se on nähnyt tuon lauseen miljoonia kertoja harjoittelun aikana. Se oppi, että "sininen" tulee usein sanan "taivas on" jälkeen.

Tällaista tekoälyä kutsutaan LLM, joka tarkoittaa Suuri kielimalli. 

Se on opetellut lukemattomia oppikirjoja, verkkosivuja ja muuta tietoa selvittääkseen, miten ihmiset käyttävät sanoja. Mutta se ei lue merkityksen perusteella. Se oppii, miten sanat yleensä esiintyvät toistensa vieressä. 

GPT on tietynlainen LLM.

GPT tarkoittaa "Generatiivinen esikoulutettu muuntaja."

• Generatiivinen - se voi luoda uutta tekstiä.
• Esikoulutettu - se oppii ennen kuin se puhuu sinulle.
• Muuntaja - ChatGPT:n toiminnan perustana oleva keskeinen teknologia, joka auttaa sitä ymmärtämään, miten sanat liittyvät toisiinsa lauseessa, kappaleessa tai jopa keskustelussa.

Seuraavassa luetellaan GPT:n eri versiot, joita on julkaistu vuosien varrella.

Miten ChatGPT toimii

Tässä on yksinkertaistettu erittely siitä, miten ChatGPT toimii ja käsittelee syötteesi viidessä keskeisessä vaiheessa. 

• Vaihe 1: Massadatan esiharjoittelu

Suuret kielimallit (LLM) kuten ChatGPT, on esivalmennettu käsittelemällä valtavia määriä tekstiä internetistä kielimallien oppimiseksi. 

Esikoulutuksen aikana malli käsittelee triljoonia poletteja (pieniä tekstinpätkiä). 

A merkki voi olla sana, sanan osa tai jopa välimerkki, riippuen siitä, miten malli tunnistaa syötteen. 

Esimerkiksi, 

Kysyt ChatGPT:ltä matemaattisen kysymyksen, kuten:

Ongelma:

• 2 + 3 = ? 

ChatGPT lukee harjoittelunsa aikana satoja miljardeja sanoja kirjoista, uutisista, artikkeleista, Wikipediasta, tarinoista, tieteellisistä artikkeleista ja jopa Reddit-ketjuista.

Tämä koulutus ja lukeminen auttavat sitä ymmärtämään, miten yhteenlasku toimii. 

Esimerkiksi,

Se saattaa oppia kommutatiivinen ominaisuus (esim. 2 + 3 = 3 + 2) tällaisissa yhteyksissä.

ChatGPT näkee monia esimerkkejä, kuten 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Se ei opi vain näitä esimerkkejä, vaan se oppii yhteenlaskun mallin. 

Se ymmärtää, miten numerot ovat vuorovaikutuksessa "+"-symbolin kanssa ja miten tulos tyypillisesti seuraa "="-symbolia. 

• Vaihe 2: Muuntajan arkkitehtuuri

Kun ChatGPT oli nähnyt valtavan määrän sanoja, se tarvitsi aivot, jotka pystyivät ymmärtämään kaiken tämän tiedon. Tekoälyn aivoja kutsutaan nimellä "Transformer."

Transformer erottuu edukseen, koska se pystyy keskittää huomion syötteen tärkeimpiin osiin, aivan kuten me käsittelemme kieltä. 

Esimerkiksi,

Sovelletaan tätä matematiikan ongelmaan:

• "Mikä on 5:n ja 7:n summa?"

Tätä käsitellessään Transformer ei mene vain sana sanalta. 

Sen sijaan se tarkastelee koko asiayhteyttä - "summaa", "5" ja "7" - kerralla. 

Siinä tunnustetaan, että "summa" viittaa "lisäys" ja että "5" ja "7" ovat kyseessä olevat numerot. 

Transformer antaa sitten lisää "huomio" niihin sanoihin, jotka vaikuttavat suoraan vastaukseen, joten se keskittyy operaatioon ("summa") ja numeroihin ("5" ja "7"). 

Tämä on keskeinen osa ChatGPT:n toimintaa - se on ei käsittele ongelmaa lineaarisesti, mutta tavalla, joka auttaa sitä ymmärtämään elementtien väliset suhteet. 

Tämä kyky tarkastella kaikkea asiayhteydessä tekee Transformerista niin tehokkaan. 

Sen sijaan, että se vain päättelisi, mitä seuraavaksi tulee, se ymmärtää merkityksen yhdistämällä lauseen olennaiset osat toisiinsa. 

• Vaihe 3: Tokenisointi ja kielenkäsittely

Kun kirjoitat tekstiä ChatGPT:hen, se jakaa kehotuksesi pieniin tekstikenttiin. poletteja. 

Jotkut merkit ovat kokonaisia sanoja, kun taas toiset ovat vain sanojen osia. 

Esimerkiksi, 

Kun syötät "ChatGPT on älykäs," ChatGPT jakaa sen seuraaviin merkkeihin:

["Chat", "G", "PT", "on", "älykäs"]

Jopa nimi "ChatGPT" jakautuu eri merkkeihin. 

Tätä prosessia kutsutaan Tokenisointi. Koska mallit on koulutettu kokonaisten sanojen sijasta merkkeihin, se on paljon joustavampi kuin mitä se pystyy käsittelemään:

Useita kieliä (koska eri kielillä on erilaiset sanarakenteet),

Slangi ja lyhenteet (kuten "u" sanalle "sinä" tai "idk" sanalle "en tiedä").

Jopa keksityt sanat tai muunnelmat (kuten "uskomaton" sanojen "un", "believ" ja "able" jakaminen). 

• Vaihe 4: Hienosäätö ja turvakerrokset

Kun ChatGPT on koulutettu suurella tietomäärällä, se ei ole aivan valmis prime time -aikaan. 

Se tarvitsee edelleen apua varmistaakseen, että se vastaa mahdollisimman hyödyllisellä, kohteliaalla ja turvallisella tavalla. 

Kautta valvottu hienosäätö, inhimilliset arvioijat antavat ChatGPT:lle esimerkkejä siitä, millainen on hyvä vastaus. Esimerkiksi, 

• "Mikä on 5 + 7?"
  • Huono vastaus: Kysymys on helppo. Miksi et tiedä tätä?
  • Hyvä vastaus: 5:n ja 7:n summa on 12. 

Ajan myötä ChatGPT:tä koulutetaan paremmilla esimerkeillä kohteliaammaksi, selkeämmäksi ja keskittyneemmäksi. 

Kun se on saanut vankan perustan, se saa kehittyneempää apua seuraavilla tavoilla. Vahvistusoppiminen ihmisen palautteesta (RLHF).

Prosessi etenee seuraavasti:

• ChatGPT vastaa. 
• Ihmisten määrä vastaus perustuu siihen, kuinka hyvä se on - kuinka hyödyllinen, tarkka ja turvallinen se on. 
• ChatGPT oppii tämän palautteen perusteella ja pyrkii antamaan parempia vastauksia tulevaisuudessa. 

Esimerkiksi, Kuvittele, että ChatGPT vastaa matemaattiseen ongelmaan, esimerkiksi seuraavasti "Mikä on 12 jaettuna 4:llä?": 

• ChatGPT vastaa: "3."
• Ihmisen antama palaute: Tämä vastaus on loistava. 
• ChatGPT oppii: Se antaa jatkuvasti tämäntyyppisen vastauksen, kun vastaavia kysymyksiä esitetään. 

Tavoitteena on, että ChatGPT kehittyy jatkuvasti, aivan kuten oppilas, joka oppii aiemmista virheistään. 

Lopuksi, yksi tärkeä ihmisten tekemän hienosäädön tarkoitus on se. ovat linjassa ihmisten arvojen kanssa. 

Haluamme, että se on paitsi älykäs myös hyödyllinen, harmiton ja rehellinen. 

Esimerkiksi, jos käyttäjä kysyy monimutkaisen kysymyksen, kuten, "Mikä on -1:n neliöjuuri?" 

Sen sijaan, että se antaisi virheellisen vastauksen, kuten "i on vastaus" ilman mitään asiayhteyttä, se antaisi:

Turvallinen, yhdenmukainen vastaus: -1:n neliöjuuri on imaginääriluku, joka esitetään yleisesti muodossa "i". Tätä käsitettä käytetään edistyneessä matematiikassa. 

• Vaihe 5: Kehotus sisään, vastaus ulos

Tämä on viimeinen vaihe, jossa ChatGPT on valmis vastaamaan kysymyksiisi. 

Kehote on teksti (eli kysymys, komento tai lausunto), jonka kirjoitat ChatGPT:hen keskustelun aloittamiseksi ja vastauksen saamiseksi. 

Esimerkiksi, 

Syötät kehotteen "Millainen sää tänään on?" 

Näin ChatGPT toimii kulissien takana:

Kirjoitat kehotuksen → ChatGPT jakaa sen merkkeihin → Se etsii merkkien kuvioita → Ennustaa seuraavan sanan → Muodostaa vastauksen → Säätää äänensävyn tekstisi perusteella → Saa lopullisen vastauksesi.

Kehotetta varten "Millainen sää tänään on?", ChatGPT vastaisi todennäköisesti jotenkin näin: 

"En voi antaa reaaliaikaisia sääpäivityksiä, mutta tarkimmat tiedot saat sääsivustolta tai -sovelluksesta, kuten Weather.comista, tai paikallisista uutisista."

Tämä johtuu siitä, että ChatGPT:llä ei ole pääsyä live-tietoihin, ellei sitä ole liitetty työkaluun, joka hakee reaaliaikaisia tietoja. 

Miten se "muistaa" keskustelut

Kun puhut ChatGPT:lle, se näyttää muistavan aiemmin sanomasi asiat. 

Niin onkin - mutta vain niin kauan kuin keskustelu on auki. Kuvittele iso muistilista, johon kaikki kirjoittamasi kirjoitetaan: 

Sinä sanot:

• Koirani nimi on Max.

Muutamaa riviä myöhemmin sanot:

• Mitä temppuja Max voi oppia?

ChatGPT yhdistää pisteet. Se muistaa, että Max on koirasi, koska se on edelleen muistilapulla. 

Tätä muistikirjaa kutsutaan asiayhteysikkuna, ja siihen mahtuu rajoitettu määrä sanoja (tokeneita). 

Joihinkin versioihin mahtuu noin 8 000 merkkiä, kun taas uusimpiin versioihin mahtuu jopa 32 000 merkkiä. 

Mutta kun raja saavutetaan, sen on alettava poistaa vanhimmat osat, jotta uudelle tekstille saadaan tilaa. 

Jos siis sanot "Koirani nimi on Max" pitkän keskustelun alussa - ja sitten 50 kohtaa myöhemmin kysyt, "Mikä on hyvä talutushihna sille?" - se saattaa unohtaa, kuka "hän" on. 

Koska nämä tiedot on jo poistettu muistikirjasta. 

Puhutaanpa nyt muistista keskustelujen välillä.

Normaalisti, kun suljet keskustelun, muistilista pyyhkiytyy tyhjäksi. 

Kun seuraavan kerran avaat ChatGPT:n, se alkaa alusta.

 Mutta jos otat mukautetun muistin käyttöön, ChatGPT voi muistaa asioita eri istuntojen välillä. Esimerkiksi, 

• Kerro sinä: Minulla on pieni nettileipomo nimeltä Sweet Crumbs. 
• Viikkoa myöhemmin sanot: Kirjoita minulle tuotekuvaus. 
• Se saattaa vastata: Totta kai! Tässä on kuvaus Sweet Crumbs -kekseistäsi...

Se ei muista kaikkea. Se muistaa vain sen, mitä sallit, ja sinulle ilmoitetaan, kun jotain lisätään. Voit nähdä, muokata tai poistaa muistoja milloin tahansa.

Joten lyhyesti sanottuna... 

ChatGPT ei oikeastaan "muista" kuin ihminen. Se katsoo vain sitä, mitä sen edessä on - meneillään olevaa keskustelua.

Jos näyttää siltä, että se muistuttaa jotain aiempaa, se johtuu siitä, että tiedot ovat edelleen konteksti-ikkunassa.

ChatGPT:n toiminnan rajoitukset

ChatGPT on uskomattoman hyödyllinen, mutta on tärkeää ymmärtää sen rajoitukset, etenkin jos käytät sitä johonkin asiakaskohtaiseen tai konversioon tähtäävään toimintaan. 

1 - Ei todellista ymmärrystä tai tietoisuutta
ChatGPT ei ymmärrä sisältöä kuten ihmiset. Se ei "tiedä" faktoja - se vain ennustaa seuraavan todennäköisen sanan harjoitustietojen perusteella. 

Esimerkiksi, 

Jos kysyt, "Mitä menestys tarkoittaa?" se voi tuottaa sujuvan vastauksen, mutta sillä ei ole uskomuksia, arvoja tai tietoisuutta. Se jäljittelee malleja, ei muodosta oivalluksia.

2 - Harjoitusaineistosta johtuvat vääristymät
Koska ChatGPT on koulutettu laajoilla, sekalaisilla lähteillä internetistä, kirjoista, foorumeilta ja artikkeleista, se voi periä näissä tiedoissa esiintyviä vääristymiä. 

Jos internet on jostakin aiheesta jompaankumpaan suuntaan kallellaan, ChatGPT saattaa heijastaa tätä näkökulmaa - joskus hienovaraisesti, joskus ei - myös silloin, kun puolueettomuus on tarpeen.

3 - Ei selaa internetiä.
ChatGPT ei voi hakea reaaliaikaisia tietoja. Kysy siltä viime viikolla lanseeratusta tuotteesta tai tämän päivän osakekurssista, eikä sillä ole aavistustakaan. 

Sen harjoitusdatalla on raja, ja kaikki tämän pisteen jälkeinen on tavoittamattomissa.

4 - Saattaa "hallusinoida" tosiasioita tai mainita väärennettyjä lähteitä.
Yksi vaarallisimmista oikuista: ChatGPT voi keksiä asioita. Kysy siltä tilastoa tai lainausta, ja se saattaa vastata,

"Maailman terveysjärjestön mukaan 80% aikuisista suosii tuotemerkkiä X tuotemerkin Y sijaan."

Kuulostaa viralliselta - mutta tätä tilastoa ei todennäköisesti ole olemassa. 

Sitä ei haettu, vaan se keksittiin. Tämä asia tunnetaan nimellä hallusinaatio, ja se on erityisen riskialtista tutkimuksen, journalismin tai teknisen sisällön kohdalla. 

Jos kysyt ChatGPT:ltä, miten se toimii, huomaat, ettei se ole aina asiallisesti tarkka.

Jos käytät ChatGPT:tä kirjoitustarkoituksiin, tuotos tuntuisi jäykältä, robottimaiselta tai vailla inhimillistä särmää. 

Tällaisia vivahteita varten voit käyttää AI Humanizer. 

The AI Humanizer kirjoittaa ChatGPT:n tuotokset uudelleen sävyn, vivahteiden ja tunteiden mukaan, jolloin sisältösi saa sykkeen. 

Se pehmentää hankalaa ilmaisua, lisää lämpöä, ja saa teknisen tai kuivan tekstin puhuttelemaan yleisöäsi.

Kun sisältösi kuulostaa inhimilliseltä, se toimii paremmin. 

Kirjoititpa sitten aloitussivuja, sähköposteja tai LinkedIn-viestejä, samaistuttavuus lisää vastakaikua. Ja tunteet edistävät konversiota.

Parannukset GPT-4:ssä verrattuna GPT-3.5:een

GPT-3.5 on ilmainen versio, joka on nopea, luotettava ja sopii hyvin yksinkertaisiin tehtäviin. GPT-4 on OpenAI:n maksullinen versio, joka on älykkäämpi, tehokkaampi ja paljon hyödyllisempi. 

Näin ChatGPT toimii molemmissa malleissa:

Lopputulos on, että GPT-3.5 oli hyödyllinen. GPT-4 on luotettava, harkittu ja tuntuu siltä, että se kuuntelee.

Aloita tutkiminen - AI Detector ja Humanizer odottavat alla olevassa widgetissä!

Miten ChatGPT:n kaltaiset tekoälytyökalut on rakennettu

ChatGPT:n tai muiden suurten kielimallien kaltaisen tekoälyn luominen on monivuotinen projekti, johon liittyy massiivisia tietokokonaisuuksia, asiantuntijatiimejä ja armotonta iterointia. 

Näin se yleensä tapahtuu: 

1. Vaihe yksi: Tiedonkeruu (6-12 kuukautta)

Tavoite: Opeta mallin kielimallit.

Ennen kuin tekoäly voi vastata kysymyksiin, sen on opittava, miten ihmiset kirjoittavat ja puhuvat. 

Tämä alkaa keräämällä satoja miljardeja sanoja kirjoista, verkkosivuilta, uutisista, artikkeleista, akateemisista artikkeleista ja muista lähteistä. 

Se ei "lue" kuin ihmiset. Sen sijaan se tunnistaa kuvioita, aivan kuten olemme selittäneet edellä olevissa kappaleissa.

Tarvittava aika: 6-12 kuukautta, mittakaavasta ja ryhmän koosta riippuen. 

2. Vaihe kaksi: Mallin esivalmennus (6-9 kuukautta)

Tavoite: Rakenna aivot.

Esiharjoittelussa mallille syötetään suuria määriä tekstiä ja annetaan sen ennustaa puuttuvat sanat yhä uudelleen, kunnes se alkaa saada ne oikein. 

Tämä vaihe vaatii usein voimakkaita GPU-klusterit ja satoja miljoonia dollareita laskentaresursseja. 

Tarvittava aika: 6-9 kuukautta GPU-koulutusta tauotta.

3. Kolmas vaihe: Hienosäätö ja ihmisten antama palaute (3-6 kuukautta).

Tavoite: Tee tekoälystä hyödyllinen.

Nyt se voi puhua - mutta onko siinä järkeä? Ehkä tai ehkä ei. Tässä vaiheessa ihmisarvioijat arvioivat tuotoksia, korjaavat virheitä ja ohjaavat mallia käyttämällä vahvistusoppimista ihmispalautteesta (Reinforcement Learning from Human Feedback, RLHF).

Tarvittava aika: 3-6 kuukautta, usein varhaisen testauksen rinnalla.

4. Neljäs vaihe: Käyttöönotto ja infrastruktuuri (käynnissä)

Tavoite: Tee siitä skaalautuva.

Kun malli on koulutettu, se otetaan käyttöön verkkosivustoilla, sovelluksissa, sovellusliittymissä ja yritysalustoilla. Tämä edellyttää vakavaa taustainfrastruktuuria: datakeskuksia, automaattisesti skaalautuvia sovellusliittymiä ja kuormituksen tasausjärjestelmiä, jotka käsittelevät miljoonia samanaikaisia käyttäjiä.

Aikataulu: Alkaa koulutuksen jälkeen, mutta jatkuu toistaiseksi.

5. Viides vaihe: Turvallisuus, ennakkoluulot ja etiikka (jatkuva, rinnakkainen).

Tavoite: Pidä se turvallisena, rehellisenä ja vahingoittamattomana.

Tekoälyssä ei ole kyse vain älykkyydestä, vaan myös vastuusta. Eettiset tiimit työskentelevät rinnakkain mahdollisen väärinkäytön tunnistamiseksi, ennakkoluulojen vähentämiseksi, haitallisen sisällön estämiseksi ja yksityisyyden suojaa koskevien standardien noudattamiseksi. Ne arvioivat jatkuvasti, miten malli käyttäytyy todellisessa maailmassa.

Aikataulu: Elinikäinen prosessi, joka sisältyy kaikkiin edellä mainittuihin vaiheisiin.

Usein kysytyt kysymykset siitä, miten ChatGPT toimii

Lopulliset ajatukset

Suuret kielimallit (LLM) ovat muuttaneet tapaa, jolla olemme vuorovaikutuksessa teknologian kanssa.

Ne voivat luoda tekstiä, joka kuulostaa ihmisen kirjoittamalta, ja auttaa esimerkiksi kysymyksiin vastaamisessa ja luovan sisällön tuottamisessa. 

Mutta LLM:t eivät "ymmärtää" asioita tai ajatella kuin ihmiset. Ne toimivat ennustamalla datan kuvioita, eivät todellisen ihmisen ajattelun avulla. 

Kun LLM:t paranevat, meidän on pohdittava ongelmia, joita ne voivat aiheuttaa, kuten puolueellisuutta, yksityisyyden suojaa ja väärinkäyttöä. 

On tärkeää käyttää tekoälyä huolellisesti ja varmistaa, että se on oikeudenmukaista ja läpinäkyvää eikä levitä väärää tietoa tai vahingoita yksityisyyttä. 

Tässä ovat käyttöohjeet: 

• Ole tietoinen siitä, että tekoälyn sisältö voi olla puolueellista.
  
• Käytä tekoälytyökaluja tietosuojasääntöjä noudattaen.
  
• Tarkista tärkeät tiedot luotettavista lähteistä.
  
• Älä luota liikaa tekoälyyn. Se on työkalu, ei ihmisen ajattelun korvaaja.

Kun tekoälyteknologian teho kasvaa jatkuvasti, herää kysymys: Miten voimme varmistaa, että sen edistysaskeleet lisäävät ihmisen luovuutta ja päätöksentekoa sen sijaan, että ne korvaisivat juuri ne asiat, jotka tekevät meistä ainutlaatuisen inhimillisiä?