Jak ChatGPT funguje? Vysvětlení techniky jednoduše

Posledních pár let se všem na jazyku honí jedna věc: ChatGPT.

Učitelé obávat se, že píše domácí úkoly studentů. 

Spisovatelé se obávají, že by umělá inteligence mohla psát knihy a příběhy místo nich. 

Kodéři se bojí, že bude vytvářet webové stránky a aplikace lépe než lidé. 

Někteří dokonce předpovídají, že miliony pracovních míst by mohly zaniknout. kvůli umělé inteligenci. 

Všichni jsme o tom slyšeli. Ale přemýšleli jste někdy o tom. jak Funguje ChatGPT? 

Jak ChatGPT píše domácí úkoly pro děti? Co se děje v zákulisí, když napíšete otázku a ona odpoví jako skutečný člověk? 

Jak může stroj psát básně, příběhy a kódy, přestože nerozumí slovům tak jako my?

V tomto blogu, nahlédneme dovnitř ChatGPT a krok za krokem vysvětlí, co je ChatGPT a jak funguje.

Dozvíte se, jak si pamatuje věci, jaké jsou jeho limity a jak takové nástroje vůbec vznikají. 

Začněme!

Nadace: Jazykové modely GPT

ChatGPT je umělá inteligence, která je vytvořena tak, aby rozuměla a psala jako člověk. 

Říká se tomu jazykový model protože pracuje s jazykem - čte ho, předpovídá a vytváří. 

Ale nerozumí tomu tak jako lidé. Nemyslí. Nezná fakta. Jen se dívá na vzory. 

Například, 

• Pokud zadáte, "Nebe je..."
• Mohlo by tam být napsáno. "modrá." 

Ne proto, že by vědělo, že obloha je modrá, ale proto, že tuto větu vidělo milionkrát během výcviku. Naučilo se, že slovo "modrá" často následuje za slovem "obloha je".

Tento typ UI se nazývá LLM, což znamená Velký jazykový model. 

Na základě spousty učebnic, webových stránek a dalších zdrojů se snaží zjistit, jak lidé používají slova. Nečte však pro význam. Učí se, jak se slova obvykle objevují vedle sebe. 

GPT je specifickým druhem LLM.

Zkratka GPT znamená "Generativní předem vycvičený transformátor."

• Generativní - může vytvořit nový text.
• Předem vyškolené - se to naučí, než s vámi začne mluvit.
• Transformátor - klíčová technologie, která stojí za fungováním ChatGPT a která mu pomáhá pochopit, jak spolu slova ve větě, odstavci nebo dokonce v konverzaci souvisejí.

Zde jsou uvedeny různé verze GPT, které byly v průběhu let uvedeny na trh.

Jak funguje ChatGPT

Zde je zjednodušený přehled toho, jak ChatGPT funguje a zpracovává vaše vstupy v pěti klíčových krocích. 

• Krok 1: Předběžné školení na rozsáhlých datech

Velké jazykové modely (LLM) jako je ChatGPT, jsou předem vyškoleny zpracováním velkého množství textů z internetu, aby se naučily jazykové vzory. 

Během předběžného tréninku model zpracovává biliony žetonů (drobné kousky textu). 

A token může být slovo, část slova nebo dokonce interpunkce, v závislosti na tom, jak model tokenizuje vstup. 

Například, 

Položili jste ChatGPT matematickou otázku, například:

Problém:

• 2 + 3 = ? 

ChatGPT během svého tréninku přečte stovky miliard slov z knih, zpráv, článků, Wikipedie, příběhů, vědeckých článků, a dokonce i z vláken na Redditu.

Tento trénink a četba mu pomáhají pochopit, jak funguje sčítání. 

Například,

Mohl by se naučit komutativní vlastnost (tj. 2 + 3 = 3 + 2) prostřednictvím těchto souvislostí.

ChatGPT vidí mnoho příkladů, jako např. 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Neučí se jen tyto konkrétní příklady, ale učí se i vzor sčítání. 

Chápe, jak čísla interagují se symbolem "+" a jak výsledek obvykle následuje po symbolu "=". 

• Krok 2: Architektura transformátoru

Jakmile ChatGPT viděl obrovské množství slov, potřeboval mozek, který by dokázal všechny tyto informace zpracovat. Tento mozek umělé inteligence se nazývá "Transformátor."

Transformátor se vyznačuje tím, že dokáže soustředit pozornost na nejdůležitější části vstupních dat, podobně jako zpracováváme jazyk. 

Například,

Aplikujme to na matematický problém:

• "Jaký je součet čísel 5 a 7?"

Při zpracování Transformer neprochází jen slovo po slově. 

Místo toho se podívá na celý kontext - "součet", "5" a "7" - najednou. 

Uznává, že "sum" se týká "dodatek" a že "5" a "7" jsou čísla, o která se jedná. 

Transformátor pak poskytuje více "pozornost" na slova, která mají přímý vliv na odpověď, takže se zaměřuje na operaci ("součet") a čísla ("5" a "7"). 

To je klíčová součást fungování služby ChatGPT - je to nezpracovává problém lineárně, ale způsobem, který mu pomůže pochopit vztahy mezi jednotlivými prvky. 

Díky této schopnosti nahlížet na vše v souvislostech je Transformer tak výkonný. 

Místo toho, aby jen zjišťoval, co bude následovat, chápe význam tak, že spojuje příslušné části věty dohromady. 

• Krok 3: Tokenizace a zpracování jazyka

Při zadávání textu do aplikace ChatGPT se výzva rozdělí na malé části. žetony. 

Některé tokeny jsou celá slova, zatímco jiné jsou jen části slov. 

Například, 

Když zadáte "ChatGPT je chytrý," ChatGPT jej rozdělí na následující tokeny:

["Chat", "G", "PT", "is", "smart"]

Dokonce i název "ChatGPT" se rozdělí na různé tokeny. 

Tento proces se nazývá tokenizace. Vzhledem k tomu, že modely byly vycvičeny na tokenech namísto celých slov, je mnohem flexibilnější, protože si poradí:

Více jazyků (protože různé jazyky mají různou strukturu slov),

Slang a zkratky (jako "u" pro "ty" nebo "idk" pro "nevím").

Dokonce i vymyšlená slova nebo jejich varianty (jako je rozdělení slova "neuvěřitelný" na "un", "believ", "able"). 

• Krok 4: Doladění a bezpečnostní vrstvy

Jakmile je ChatGPT vycvičen na velkém množství dat, není ještě připraven na hlavní vysílací čas. 

Stále potřebuje pomoc, aby reagoval co nejužitečněji, nejslušněji a nejbezpečněji. 

Prostřednictvím jemné doladění pod dohledem, lidští recenzenti uvádějí v aplikaci ChatGPT příklady toho, jaká odpověď je dobrá. Například, 

• "Co je 5 + 7?"
  • Špatná odpověď: To je snadná otázka. Proč to nevíte?
  • Dobrá odpověď: Součet 5 a 7 je 12. 

Časem se ChatGPT na základě lepších příkladů vycvičí, aby byl zdvořilejší, jasnější a soustředěnější. 

Jakmile získá pevné základy, dostane se mu pokročilejší pomoci prostřednictvím Učení posilováním na základě zpětné vazby od člověka (RLHF).

Tento proces probíhá následovně:

• ChatGPT odpovídá. 
• Míra lidskosti tuto odpověď na základě toho, jak je dobrý - jak je užitečný, přesný a bezpečný. 
• ChatGPT se učí z této zpětné vazby a snaží se v budoucnu poskytovat lepší odpovědi. 

Například, představte si, že ChatGPT odpovídá na matematický problém, např. "Kolik je 12 děleno 4?": 

• ChatGPT odpovídá: "3."
• Zpětná vazba od lidí: Tato odpověď je skvělá. 
• ChatGPT se učí: Při podobných otázkách dává stále tento typ odpovědi. 

Cílem je, aby se ChatGPT neustále zlepšoval, stejně jako student, který se učí z minulých chyb. 

A konečně, jedním z důležitých účelů jemného doladění lidmi je. v souladu s lidskými hodnotami. 

Chceme, aby byl nejen chytrý, ale také užitečný, neškodný a poctivý. 

Například, pokud se uživatel zeptá na složitou otázku, např., "Jaká je druhá odmocnina z -1?" 

Namísto nesprávné odpovědi typu "i je odpověď" bez jakéhokoli kontextu by poskytl:

Bezpečná a sladěná reakce: Druhá odmocnina z -1 je imaginární číslo, které se běžně značí jako "i". Tento pojem se používá v pokročilé matematice. 

• Krok 5: Výzva ke vstupu, odpověď k výstupu

V tomto posledním kroku je ChatGPT připraven odpovídat na vaše výzvy. 

Výzva je text (např. otázka, příkaz nebo prohlášení), který zadáte do aplikace ChatGPT, abyste zahájili konverzaci a získali odpověď. 

Například, 

Zadáte výzvu "Jaké je dnes počasí?" 

Zde se dozvíte, jak ChatGPT funguje v zákulisí:

Zadáte výzvu → ChatGPT ji rozdělí na tokeny → Hledá vzory v tokenech → Předpovídá další slovo → Vytvoří odpověď → Upraví tón na základě vašeho textu → Získá vaši konečnou odpověď.

Pro výzvu "Jaké je dnes počasí?", ChatGPT by pravděpodobně odpověděl něco jako: 

"Nemohu poskytovat aktuální informace o počasí v reálném čase, ale nejpřesnější informace získáte na webu nebo v aplikaci o počasí, jako je Weather.com, nebo v místních zprávách."

ChatGPT totiž nemá přístup k datům v reálném čase, pokud není připojen k nástroji, který získává informace v reálném čase. 

Jak si "pamatuje" konverzace

Když mluvíte s aplikací ChatGPT, zdá se, že si pamatuje věci, které jste řekli dříve. 

A to také dělá - ale pouze v době, kdy je chat otevřený. Představte si velký poznámkový blok, do kterého se zapisuje vše, co napíšete: 

Říkáte:

• Můj pes se jmenuje Max.

O několik řádků později říkáte:

• Jaké triky se může Max naučit?

ChatGPT spojuje body. Pamatuje si, že Max je váš pes, protože je stále na poznámkovém bloku. 

Tento poznámkový blok se nazývá kontextové okno, a obsahuje omezený počet slov (tzv. tokenů). 

Některé verze pojmou přibližně 8 000 žetonů, zatímco ty nejnovější až 32 000 žetonů. 

Jakmile však dosáhnete limitu, musí se začít mazat nejstarší části, aby se uvolnilo místo pro nový text. 

Pokud tedy řeknete. "Můj pes se jmenuje Max" na začátku dlouhého rozhovoru - a o 50 odstavců později se zeptat, "Jaké je pro něj dobré vodítko?" - možná zapomene, kdo je "on". 

Protože tyto informace již byly z poznámkového bloku vymazány. 

Nyní si promluvme o paměti mezi chaty.

Když zavřete chat, poznámkový blok se normálně vymaže. 

Při příštím otevření aplikace ChatGPT se tedy spustí znovu.

 Pokud však zapnete vlastní paměť, může si ChatGPT pamatovat věci napříč relacemi. Například, 

• Řekněte: Provozuji malé online pekařství s názvem Sweet Crumbs. 
• O týden později řekneš: Napište mi popis produktu. 
• Může odpovědět: Jistě! Zde je popis vašich sušenek Sweet Crumbs...

Nepamatuje si všechno. Pamatuje si pouze to, co povolíte, a když se něco přidá, budete o tom informováni. Vzpomínky můžete kdykoli zobrazit, upravit nebo odstranit.

Tak tedy... 

ChatGPT ve skutečnosti ne "pamatovat" jako člověk. Dívá se jen na to, co je před ním - na aktuální konverzaci.

Pokud to vypadá, že to připomíná něco z dřívějška, je to proto, že tyto informace jsou stále uvnitř kontextového okna.

Omezení fungování služby ChatGPT

ChatGPT je neuvěřitelně užitečný, ale je důležité si uvědomit jeho omezení, zejména pokud ho používáte pro cokoli, co se týká zákazníků nebo konverzí. 

1 - Žádné skutečné porozumění nebo vědomí
ChatGPT nerozumí obsahu tak jako lidé. Nezná fakta - pouze předpovídá další pravděpodobné slovo na základě tréninkových dat. 

Například, 

Pokud se ptáte, "Co znamená úspěch?" může vytvářet plynulé reakce, ale nemá přesvědčení, hodnoty ani vědomí. Napodobuje vzorce, nikoliv vytváří vhledy.

2 - Předpojatosti z tréninkových dat
Vzhledem k tomu, že ChatGPT je trénován na rozsáhlých, smíšených zdrojích z internetu, knih, fór a článků, může zdědit zkreslení zjištěná v těchto datech. 

Pokud se internet přikloní k nějakému tématu, ChatGPT může tento pohled odrážet - někdy nenápadně, jindy ne - i když je vyžadována neutralita.

3 - neprohlíží internet
Služba ChatGPT nemůže načítat data v reálném čase. Zeptejte se ho na produkt uvedený na trh minulý týden nebo na dnešní cenu akcií a nebude mít ani ponětí. 

Její tréninková data mají mezní hodnotu a cokoli za ní je mimo dosah.

4 - Může "halucinovat" fakta nebo uvádět falešné zdroje.
Jedna z nejnebezpečnějších zvláštností: ChatGPT si může vymýšlet. Když se ho zeptáte na statistiku nebo citaci, může vám odpovědět,

"Podle Světové zdravotnické organizace dává 80% dospělých přednost značce X před značkou Y."

Zní to oficiálně - ale tato statistika pravděpodobně neexistuje. 

Nebyl získán, byl vynalezen. Tento problém je známý jako halucinacea je to obzvláště riskantní v oblasti výzkumu, žurnalistiky nebo technického obsahu. 

Pokud se zeptáte ChatGPT, jak to funguje, zjistíte, že to není vždy věcně přesné.

Pokud používáte ChatGPT pro účely psaní, výstup by působil strnule, roboticky nebo by postrádal lidský rozměr. 

Pro tyto nuance můžete použít AI Humanizer. 

Na stránkách AI Humanizer přepisuje výstupy ChatGPT s ohledem na tón, nuance a emoce a dodává vašemu obsahu srdeční tep. 

Na adrese . zjemňuje nepříjemné frázování, dodává mu vřelost, a přiměje technické nebo suché texty, aby se líbily vašemu publiku.

Pokud váš obsah zní lidsky, má lepší výkon. 

Ať už píšete vstupní stránky, e-maily nebo příspěvky na LinkedIn, odezva je důležitá. A emoce pohánějí konverzi.

Vylepšení v GPT-4 oproti GPT-3.5

GPT-3.5 je bezplatná verze, která je rychlá, spolehlivá a skvělá pro jednoduché úlohy. GPT-4 je placená verze OpenAI, která je chytřejší, výkonnější a mnohem užitečnější. 

Zde se dozvíte, jak ChatGPT funguje s oběma modely:

Sečteno a podtrženo, GPT-3.5 byl užitečný. GPT-4 je spolehlivý, promyšlený a působí, jako by naslouchal.

Začněte zkoumat - náš detektor umělé inteligence a Humanizer čekají ve widgetu níže!

Jak se vytvářejí nástroje AI, jako je ChatGPT

Vytvoření umělé inteligence, jako je ChatGPT nebo jiné rozsáhlé jazykové modely, je několikaletý projekt, který zahrnuje obrovské soubory dat, týmy odborníků a neustálé opakování. 

Obvykle se to děje takto: 

1. První fáze: Sběr dat (6-12 měsíců)

Cíl: Učte modelové jazykové vzory.

Než bude umělá inteligence schopna odpovídat na otázky, musí se naučit, jak lidé píší a mluví. 

Začíná to shromažďováním stovek miliard slov z knih, webových stránek, zpráv, článků, akademických prací a dalších zdrojů. 

Nečte se jako člověk. Místo toho identifikuje vzory, přesně tak, jak jsme vysvětlili v předchozích částech.

Potřebný čas: 6-12 měsíců, v závislosti na rozsahu a velikosti týmu. 

2. Druhá fáze: Předběžné školení modelu (6-9 měsíců)

Cíl: Vytvořte si mozek.

Předtrénování spočívá v tom, že se modelu předkládají velké objemy textu a nechávají se opakovaně předpovídat chybějící slova, dokud je nezačne správně předpovídat. 

Tato fáze často vyžaduje výkonné Clustery GPU a stovky milionů dolarů ve výpočetních zdrojích. 

Potřebný čas: 6-9 měsíců nepřetržitého školení GPU.

3. Třetí fáze: Dolaďování a zpětná vazba od lidí (3-6 měsíců)

Cíl: Udělejte umělou inteligenci užitečnou.

Nyní umí mluvit - ale dává to smysl? Možná ano, možná ne. V této fázi hodnotí výstupy lidští recenzenti, opravují chyby a řídí model pomocí posilovacího učení z lidské zpětné vazby (RLHF).

Potřebný čas: 3-6 měsíců, často probíhá souběžně s počátečním testováním.

4. Čtvrtá fáze: Nasazení a infrastruktura (probíhá)

Cíl: Zajistěte škálovatelnost.

Po vyškolení je model nasazen na webových stránkách, aplikacích, rozhraních API a podnikových platformách. To vyžaduje rozsáhlou infrastrukturu: datová centra, automaticky škálovatelné rozhraní API a systémy pro vyrovnávání zátěže, které zvládnou miliony uživatelů současně.

Časový rámec: Začíná po ukončení školení, ale pokračuje po neomezenou dobu.

5. Pátá fáze: Bezpečnost, předsudky a etika (průběžně, paralelně)

Cíl: Dbejte na to, aby to bylo bezpečné, upřímné a neškodné.

Umělá inteligence není jen o inteligenci, ale také o odpovědnosti. Etické týmy pracují souběžně, aby upozorňovaly na potenciální zneužití, omezovaly zaujatost, blokovaly škodlivý obsah a dodržovaly standardy ochrany soukromí. Neustále vyhodnocují, jak se model chová v reálném světě.

Časový rámec: Celoživotní proces; je součástí všech výše uvedených fází.

Časté dotazy k fungování služby ChatGPT

Závěrečné myšlenky

Velké jazykové modely (LLM) změnily způsob, jakým komunikujeme s technologiemi.

Mohou vytvářet text, který zní, jako by ho psal člověk, a pomáhat s úkoly, jako je odpovídání na otázky a vytváření kreativního obsahu. 

Studenti LLM však nemají "rozumět" věci nebo myslet jako lidé. Fungují na základě předvídání vzorců v datech, nikoliv na základě skutečného lidského myšlení. 

S tím, jak se LLM zlepšují, je třeba myslet na problémy, které mohou způsobovat, jako je zaujatost, problémy se soukromím a zneužití. 

Je důležité používat umělou inteligenci opatrně a zajistit, aby byla spravedlivá, transparentní a nešířila nepravdivé informace nebo nepoškozovala soukromí. 

Zde jsou pokyny pro používání: 

• Uvědomte si, že umělá inteligence může být ve svém obsahu zaujatá.
  
• Používejte nástroje umělé inteligence způsobem, který dodržuje pravidla ochrany osobních údajů.
  
• Důležité informace si dvakrát ověřte z důvěryhodných zdrojů.
  
• Nespoléhejte se příliš na umělou inteligenci. Je to nástroj, nikoli náhrada lidského myšlení.

S rostoucím výkonem technologie umělé inteligence vyvstává otázka: Jak můžeme zajistit, aby její pokrok posiloval lidskou tvořivost a rozhodování a nenahrazoval to, co nás činí jedinečnými lidmi?