Cum funcționează ChatGPT? Tehnica explicată simplu

Există un lucru care a fost pe limba tuturor în ultimii doi ani: ChatGPT.

Profesori vă faceți griji că scrieți temele elevilor. 

Scriitori se tem că AI ar putea scrie cărți și povești în locul lor. 

Codificatori sunt speriați că va construi site-uri web și aplicații mai bine decât o pot face oamenii. 

Unii prezic chiar că milioane de locuri de muncă ar putea dispărea din cauza inteligenței artificiale. 

Cu toții am auzit de ea. Dar v-ați întrebat vreodată cum ChatGPT funcționează? 

Cum scrie ChatGPT temele unui copil? Ce se întâmplă în spatele scenei când scrii o întrebare și îți răspunde ca o persoană reală? 

Cum poate o mașină să scrie poezii, povestiri și coduri, chiar dacă nu înțelege cuvintele așa cum le înțelegem noi?

În acest blog, ne vom uita în interior ChatGPT și să explice ce este ChatGPT și cum funcționează, pas cu pas.

Veți afla cum memorează lucrurile, care sunt limitele sale și cum se construiesc astfel de instrumente în primul rând. 

Să începem!

Fundația: Modele lingvistice GPT

ChatGPT este un AI care este făcut să înțeleagă și să scrie ca un om. 

Se numește model lingvistic deoarece lucrează cu limbajul - îl citește, îl prezice și îl generează. 

Dar nu înțelege ca oamenii. Nu gândește. Nu cunoaște fapte. Se uită doar la modele. 

De exemplu, 

• Dacă tastați, "Cerul este..."
• Aceasta ar putea spune "albastru". 

Nu pentru că știe că cerul este albastru, ci pentru că a văzut această propoziție de milioane de ori în timpul antrenamentului. A învățat că "albastru" vine adesea după "cerul este".

Acest tip de AI se numește LLM, care înseamnă Model de limbă mare. 

Este antrenat pe tone de manuale, site-uri web și multe altele pentru a-și da seama cum oamenii folosesc cuvintele. Dar nu citește după înțeles. Învață cum apar de obicei cuvintele unele lângă altele. 

GPT este un tip specific de LLM.

GPT înseamnă "Transformator generativ pre-format".

• Generativ - poate crea text nou.
• Pre-antrenat - să învețe înainte de a vorbi cu tine.
• Transformator - tehnologia cheie din spatele funcționării ChatGPT, care îl ajută să înțeleagă modul în care cuvintele sunt legate între ele într-o propoziție, paragraf sau chiar conversație.

Iată diferitele versiuni ale GPT care au fost lansate de-a lungul anilor.

Cum funcționează ChatGPT

Iată o defalcare simplificată a modului în care ChatGPT funcționează și procesează datele dvs. în cinci pași cheie. 

• Etapa 1: Preinstruire pe date masive

Modele lingvistice mari (LLM) precum ChatGPT sunt pre-antrenate prin procesarea unor cantități mari de text de pe internet pentru a învăța modele lingvistice. 

În timpul preformării, modelul procesează trilioane de jetoane (bucăți mici de text). 

A simbol poate fi un cuvânt, o parte a unui cuvânt sau chiar punctuație, în funcție de modul în care modelul tokenizează datele de intrare. 

De exemplu, 

Adresați ChatGPT o întrebare de matematică, cum ar fi:

Problemă:

• 2 + 3 = ? 

În timpul antrenamentului, ChatGPT citește sute de miliarde de cuvinte din cărți, știri, articole, Wikipedia, povești, lucrări științifice și chiar discuții pe Reddit.

Această pregătire și lectură îl ajută să înțeleagă cum funcționează adunarea. 

De exemplu,

Acesta ar putea învăța proprietate comutativă (de exemplu, 2 + 3 = 3 + 2) prin astfel de contexte.

ChatGPT vede multe exemple precum 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Nu învață doar aceste exemple specifice, învață modelul de adunare. 

Acesta înțelege modul în care numerele interacționează cu simbolul "+" și modul în care rezultatul urmează de obicei simbolul "=". 

• Etapa 2: Arhitectura transformatorului

Odată ce ChatGPT a văzut o cantitate masivă de cuvinte, avea nevoie de un creier care să poată înțelege toate aceste informații. Acest creier al inteligenței artificiale se numește "Transformator."

Ceea ce diferențiază Transformer este capacitatea sa de a concentrarea atenției pe cele mai importante părți ale datelor de intrare, la fel ca modul în care procesăm limbajul. 

De exemplu,

Să aplicăm acest lucru la o problemă de matematică:

• "Care este suma dintre 5 și 7?"

Atunci când procesează acest lucru, Transformer nu merge doar cuvânt cu cuvânt. 

În schimb, se uită la întregul context - "sumă", "5" și "7" - toate odată. 

Acesta recunoaște că "sumă" se referă la "adăugare" și că "5" și "7" sunt numerele implicate. 

Transformatorul dă apoi mai mult "atenție" la acele cuvinte care au un impact direct asupra răspunsului, astfel încât se concentrează pe operație ("sumă") și pe numere ("5" și "7"). 

Aceasta este o parte esențială a modului în care funcționează ChatGPT - acesta nu procesează liniar problema, dar într-un mod care îl ajută să înțeleagă relația dintre elemente. 

Această capacitate de a privi totul în context este ceea ce face Transformerul atât de puternic. 

În loc să își dea seama ce urmează, înțelege sensul prin conectarea elementelor relevante ale propoziției. 

• Etapa 3: Tokenizarea și prelucrarea limbii

Când tastați text în ChatGPT, acesta vă împarte promptul în mici jetoane. 

Unele jetoane sunt cuvinte complete, în timp ce altele sunt doar părți de cuvinte. 

De exemplu, 

Când introduceți "ChatGPT este inteligent," ChatGPT îl împarte în următoarele jetoane:

["Chat", "G", "PT", "este", "inteligent"]

Chiar și numele "ChatGPT" este împărțit în diferite jetoane. 

Acest proces se numește tokenizare. Deoarece modelele au fost antrenate pe jetoane în loc de cuvinte complete, este mult mai flexibil:

Limbi multiple (deoarece limbile diferite au structuri de cuvinte diferite),

Argoul și abrevierile (cum ar fi "u" pentru "you" sau "idk" pentru "I don't know").

Chiar și cuvinte inventate sau variații (cum ar fi ruperea "unbelievable" în "un", "believ", "able"). 

• Etapa 4: Reglare fină și straturi de siguranță

Odată ce ChatGPT a fost antrenat pe o cantitate mare de date, acesta nu este încă pregătit pentru prime time. 

Încă are nevoie de ajutor pentru a se asigura că răspunde în modul cel mai util, politicos și sigur. 

Prin reglaj fin supravegheat, recenzorii umani dau exemple ChatGPT de ceea ce face un răspuns bun. De exemplu, 

• "Ce este 5 + 7?"
  • Răspuns prost: Este o întrebare ușoară. De ce nu știți asta?
  • Răspuns bun: Suma dintre 5 și 7 este 12. 

În timp, ChatGPT este antrenat cu exemple mai bune pentru a deveni mai politicos, mai clar și mai concentrat. 

Odată ce are o bază solidă, primește ajutor mai avansat prin Învățarea prin consolidare din feedback-ul uman (RLHF).

Acest proces se desfășoară astfel:

• ChatGPT răspunde. 
• Rata oamenilor acest răspuns se bazează pe cât de bun este - cât de util, precis și sigur este. 
• ChatGPT învață din acest feedback și încearcă să ofere răspunsuri mai bune în viitor. 

De exemplu, imaginați-vă că ChatGPT răspunde la o problemă de matematică, cum ar fi "Cât este 12 împărțit la 4?": 

• ChatGPT răspunde: "3."
• Feedback uman: Acest răspuns este excelent. 
• ChatGPT învață: Acesta continuă să ofere acest tip de răspuns atunci când apar întrebări similare. 

Scopul este ca ChatGPT să continue să se îmbunătățească, la fel ca un student care învață din greșelile din trecut. 

În cele din urmă, un scop important al reglării fine de către oameni este alinierea la valorile umane. 

Vrem să fie nu doar inteligent, ci și util, inofensiv și onest. 

De exemplu, dacă un utilizator pune o întrebare complexă de genul, "Care este rădăcina pătrată a lui -1?" 

În loc să ofere un răspuns incorect de genul "i este răspunsul" fără niciun context, acesta ar oferi:

Răspuns sigur, aliniat: Rădăcina pătrată a lui -1 este un număr imaginar, reprezentat în mod obișnuit ca "i". Acest concept este utilizat în matematicile avansate. 

• Pasul 5: Prompt In, Response Out

Acesta este pasul final în care ChatGPT este gata să răspundă solicitărilor dvs. 

Un prompt este textul (de exemplu, întrebare, comandă sau afirmație) pe care îl introduceți în ChatGPT pentru a începe conversația și a obține un răspuns. 

De exemplu, 

Introduceți promptul "Care este vremea astăzi?" 

Iată cum funcționează ChatGPT în spatele scenei:

Tastezi un prompt → ChatGPT îl împarte în token-uri → Caută modele în token-uri → Prezice cuvântul următor → Formează un răspuns → Ajustează tonul în funcție de textul tău → Obține răspunsul tău final

Pentru solicitarea "Care este vremea astăzi?", ChatGPT ar răspunde probabil cu ceva de genul: 

"Nu pot oferi actualizări meteorologice în timp real, dar puteți consulta un site sau o aplicație meteorologică precum Weather.com sau știrile locale pentru cele mai exacte informații."

Acest lucru se datorează faptului că ChatGPT nu are acces la date live decât dacă este conectat la un instrument care obține informații în timp real. 

Cum își "amintește" conversațiile

Când vorbiți cu ChatGPT, se pare că își amintește lucrurile pe care le-ați spus mai devreme. 

Și o face - dar numai în timp ce chat-ul este deschis. Imaginați-vă un blocnotes mare în care tot ce scrieți este notat: 

Tu spui:

• Numele câinelui meu este Max.

Câteva rânduri mai târziu, spuneți:

• Ce trucuri poate învăța Max?

ChatGPT leagă punctele. Își amintește că Max este câinele tău, pentru că este încă pe blocnotes. 

Acest blocnotes se numește fereastra contextuală, și conține un număr limitat de cuvinte (numite tokens). 

Unele versiuni pot conține aproximativ 8.000 de jetoane, în timp ce cele mai noi pot ajunge până la 32.000 de jetoane. 

Dar, odată ce atingeți limita, trebuie să înceapă să șteargă cele mai vechi părți pentru a face loc textului nou. 

Deci, dacă spuneți "Numele câinelui meu este Max" la începutul unei discuții lungi - și apoi 50 de paragrafe mai târziu întrebați, "Care este o lesă bună pentru el?" - ar putea uita cine este "el". 

Pentru că informația a fost deja ștearsă din blocnotes. 

Acum să vorbim despre memorie între chat-uri.

În mod normal, atunci când închideți chat-ul, blocul de notițe este șters. 

Astfel, data viitoare când deschideți ChatGPT, acesta începe din nou.

 Dar dacă activați memoria personalizată, ChatGPT poate reține lucruri din sesiuni. De exemplu, 

• Tu spui: Conduc o mică brutărie online numită Sweet Crumbs. 
• O săptămână mai târziu, spuneți: Scrieți-mi o descriere a produsului. 
• Acesta ar putea răspunde: Sigur! Iată o descriere pentru prăjiturile Sweet Crumbs...

Nu reține totul. Memorează doar ceea ce permiteți și veți fi anunțat când se adaugă ceva. Puteți vedea, edita sau șterge memorii în orice moment.

Deci... 

ChatGPT nu face de fapt "amintiți-vă" ca o persoană. Se uită doar la ceea ce se află în fața sa - conversația curentă.

Dacă pare că reamintește ceva de mai devreme, este pentru că informațiile respective se află încă în fereastra contextuală.

Limitări ale modului în care funcționează ChatGPT

ChatGPT este incredibil de util, dar este important să îi înțelegeți limitele, mai ales dacă îl folosiți pentru orice activitate orientată către clienți sau conversie. 

1 - Nici o înțelegere sau conștiință reală
ChatGPT nu înțelege conținutul așa cum o fac oamenii. Nu "cunoaște" fapte - pur și simplu prezice următorul cuvânt probabil pe baza datelor de instruire. 

De exemplu, 

Dacă întrebați, "Ce înseamnă succesul?" poate genera un răspuns fluent, dar nu are convingeri, valori sau conștiință. Imită tipare, nu își formează idei.

2 - Abaterile din datele de instruire
Deoarece ChatGPT este antrenat pe surse mari și mixte de pe internet, cărți, forumuri și articole, acesta poate moșteni prejudecățile găsite în acele date. 

Dacă internetul se înclină într-o anumită direcție cu privire la un subiect, ChatGPT ar putea reflecta această perspectivă - uneori subtil, alteori nu - chiar și atunci când neutralitatea este necesară.

3 - Nu navighează pe internet
ChatGPT nu poate obține date în timp real. Întrebați-l despre un produs lansat săptămâna trecută sau despre prețul acțiunilor de astăzi și nu va avea niciun indiciu. 

Datele sale de antrenament au o limită, iar tot ce se întâmplă după acel punct este inaccesibil.

4 - Poate "halucina" fapte sau cita surse false
Una dintre cele mai periculoase ciudățenii: ChatGPT poate inventa lucruri. Cereți-i o statistică sau un citat, și s-ar putea să răspundă,

"Conform Organizației Mondiale a Sănătății, 80% dintre adulți preferă marca X în locul mărcii Y."

Sună oficial - dar această statistică probabil că nu există. 

Ea nu a fost recuperată, ci inventată. Această problemă este cunoscută sub numele de halucinațieși este deosebit de riscant în cercetare, jurnalism sau conținut tehnic. 

Dacă întrebați ChatGPT cum funcționează, veți vedea că nu este întotdeauna corect din punct de vedere factual.

Dacă utilizați ChatGPT în scopuri de scriere, rezultatul va părea rigid, robotic sau lipsit de acea margine umană. 

Pentru astfel de nuanțe, puteți utiliza AI Humanizer. 

The AI Humanizer rescrie ieșirile ChatGPT pentru ton, nuanță și emoție, dând conținutului dvs. o bătaie de inimă. 

Acesta îndulcește frazarea incomodă, adaugă căldură, și face ca textul tehnic sau arid să rezoneze cu publicul tău.

Atunci când conținutul dvs. sună uman, acesta funcționează mai bine. 

Fie că scrieți pagini de destinație, e-mailuri sau postări pe LinkedIn, relatabilitatea conduce la răspuns. Iar emoția conduce la conversie.

Îmbunătățiri în GPT-4 față de GPT-3.5

GPT-3.5 este versiunea gratuită, care este rapidă, solidă și excelentă pentru sarcini simple. GPT-4 este o versiune plătită a OpenAI care este mai inteligentă, mai puternică și mult mai utilă. 

Iată cum funcționează ChatGPT cu ambele modele:

Concluzia este că GPT-3.5 a fost util. GPT-4 este fiabil, grijuliu și pare că ascultă.

Începeți explorarea - AI Detector și Humanizer vă așteaptă în widgetul de mai jos!

Cum sunt construite instrumentele AI precum ChatGPT

Crearea unui AI precum ChatGPT sau a altor modele lingvistice mari este un proiect multianual care implică seturi masive de date, echipe de experți și iterație neîncetată. 

Iată cum se întâmplă de obicei: 

1. Prima etapă: Colectarea datelor (6-12 luni)

Obiectiv: Învățați modelele de limbaj.

Înainte ca un AI să poată răspunde la întrebări, acesta trebuie să învețe cum scriu și vorbesc oamenii. 

Aceasta începe cu colectarea a sute de miliarde de cuvinte din cărți, site-uri web, știri, articole, lucrări academice și multe altele. 

Ea nu "citește" ca oamenii. În schimb, identifică modele, exact așa cum am explicat în secțiunile de mai sus.

Timpul necesar: 6-12 luni, în funcție de amploare și de dimensiunea echipei. 

2. Faza a doua: Preinstruirea modelului (6-9 luni)

Obiectiv: Construiți creierul.

Preinstruirea implică alimentarea modelului cu volume mari de text și lăsarea acestuia să prezică cuvintele lipsă în mod repetat, până când începe să le identifice corect. 

Această fază necesită adesea Clustere GPU și sute de milioane de dolari în resurse de calcul. 

Timpul necesar: 6-9 luni de pregătire GPU non-stop.

3. Faza a treia: Reglare fină și feedback uman (3-6 luni)

Obiectiv: Faceți inteligența artificială utilă.

Acum poate vorbi - dar are sens? Poate că da sau poate că nu. În acest moment, recenzorii umani evaluează rezultatele, corectează greșelile și ghidează modelul folosind învățarea prin consolidare din feedback uman (RLHF).

Timpul necesar: 3-6 luni, adesea în paralel cu testarea timpurie.

4. Faza a patra: Implementare și infrastructură (în curs)

Obiectiv: Faceți-l scalabil.

Odată antrenat, modelul este implementat pe site-uri web, aplicații, API-uri și platforme de întreprindere. Acest lucru necesită o infrastructură backend serioasă: centre de date, API cu scalare automată și sisteme de echilibrare a sarcinii pentru a gestiona milioane de utilizatori simultani.

Timeframe: Începe după formare, dar continuă pe durată nedeterminată.

5. Faza a cincea: Siguranță, părtinire și etică (continuă, paralelă)

Obiectiv: Păstrați siguranța, onestitatea și nevătămarea.

IA nu înseamnă doar inteligență - înseamnă și responsabilitate. Echipele de etică lucrează în paralel pentru a semnala potențialele abuzuri, a reduce prejudecățile, a bloca conținutul dăunător și a respecta standardele de confidențialitate. Ele evaluează constant modul în care modelul se comportă în lumea reală.

Timeframe: Proces continuu; integrat în fiecare etapă de mai sus.

Întrebări frecvente despre cum funcționează ChatGPT

Gânduri finale

Modelele lingvistice mari (LLM) au schimbat modul în care interacționăm cu tehnologia.

Acestea pot crea text care sună ca și cum ar fi scris de un om, ajutând la sarcini precum răspunsul la întrebări și crearea de conținut creativ. 

Dar, LLM-urile nu "înțelegeți" lucruri sau gândesc ca oamenii. Ele funcționează prin prezicerea modelelor în date, nu prin gândire umană reală. 

Pe măsură ce LLM devin mai bune, trebuie să ne gândim la problemele pe care le pot cauza, cum ar fi prejudecățile, problemele legate de confidențialitate și utilizarea abuzivă. 

Este important să folosiți IA cu atenție, asigurându-vă că este corectă, transparentă și că nu răspândește informații false sau nu aduce atingere vieții private. 

Aici sunt instrucțiuni de utilizare: 

• Fiți conștienți de faptul că AI poate avea prejudecăți în conținutul său.
  
• Utilizați instrumentele de inteligență artificială în moduri care respectă normele de confidențialitate.
  
• Verificați de două ori informațiile importante din surse de încredere.
  
• Nu vă bazați prea mult pe inteligența artificială. Este un instrument, nu un înlocuitor al gândirii umane.

Pe măsură ce tehnologia IA continuă să devină din ce în ce mai puternică, apare întrebarea: Cum ne putem asigura că progresele sale sporesc creativitatea umană și procesul decizional, în loc să înlocuiască lucrurile care ne fac să fim oameni în mod unic?