Як працює ChatGPT? Технологія пояснюється просто

Є одна річ, яка була у всіх на слуху останні пару років: ChatGPT.

Вчителі хвилюються, що це написання домашніх завдань для учнів. 

Письменники бояться, що штучний інтелект може писати книги та оповідання замість них. 

Кодувальники бояться, що він створюватиме веб-сайти та додатки краще, ніж люди. 

Дехто навіть прогнозує, що мільйони робочих місць можуть зникнути через штучний інтелект. 

Ми всі про це чули. Але чи замислювалися ви коли-небудь. як ChatGPT працює? 

Як ChatGPT пише домашнє завдання дитині? Що відбувається за лаштунками, коли ви вводите запитання, а він відповідає, як реальна людина? 

Як машина може писати вірші, оповідання та код, навіть якщо вона не розуміє слів так, як ми?

У цьому блозі, ми зазирнемо всередину ChatGPT і крок за кроком пояснюємо, що таке ChatGPT і як він працює.

Ви дізнаєтеся, як він запам'ятовує речі, які його межі, і як взагалі будуються подібні інструменти. 

Починаємо!

Фундація: Мовні моделі GPT

ChatGPT - це штучний інтелект, який розуміє і пише, як людина. 

Це називається мовна модель тому що він працює з мовою - читає її, прогнозує та генерує. 

Але воно не розуміє так, як люди. Воно не думає. Він не знає фактів. Воно просто дивиться на шаблони. 

Наприклад, 

• Якщо ти друкуєш, "Небо - це..."
• Там може бути написано "синій". 

Не тому, що він знає, що небо блакитне, а тому, що бачив це речення мільйони разів під час навчання. Воно вивчило, що "блакитний" часто йде після "небо є".

Цей тип ШІ називається LLMщо розшифровується як Велика мовна модель. 

Він навчається на тоннах підручників, веб-сайтів тощо, щоб зрозуміти, як люди використовують слова. Але він не читає заради значення. Він вивчає, як слова зазвичай з'являються поруч одне з одним. 

GPT це особливий різновид LLM.

GPT розшифровується як "Генеративний попередньо навчений трансформатор".

• Генеративний - він може створювати новий текст.
• Попередньо навчені - вона вчиться, перш ніж заговорити з вами.
• Трансформатор - ключова технологія, що лежить в основі роботи ChatGPT і допомагає йому розуміти, як слова пов'язані одне з одним у реченні, абзаці або навіть у розмові.

Ось різні версії GPT, які були запущені протягом багатьох років.

Як працює ChatGPT

Ось спрощена схема того, як працює ChatGPT і як він обробляє ваше введення в п'ять ключових етапів. 

• Крок 1: Підготовка до роботи з великими масивами даних

Великі мовні моделі (LLM) такі як ChatGPT, проходять попереднє навчання, обробляючи величезні обсяги тексту з інтернету, щоб вивчити мовні шаблони. 

Під час попереднього навчання модель обробляє трильйони токенів (крихітні шматочки тексту). 

A токен може бути словом, частиною слова або навіть розділовим знаком, залежно від того, як модель токенізує вхідні дані. 

Наприклад, 

Ви задаєте ChatGPT математичне питання, наприклад

Проблема:

• 2 + 3 = ? 

Під час навчання ChatGPT зчитує сотні мільярдів слів з книг, новин, статей, Вікіпедії, оповідань, наукових робіт і навіть гілок Reddit.

Ці тренування та читання допомагають їй зрозуміти, як працює додавання. 

Наприклад,

Він може вивчити комутативна властивість (тобто, 2 + 3 = 3 + 2) через такі контексти.

ChatGPT бачить багато прикладів, таких як 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Вона вивчає не лише ці конкретні приклади, вона вивчає закономірність додавання. 

Він розуміє, як числа взаємодіють із символом "+" і як результат зазвичай слідує за символом "=". 

• Крок 2: Архітектура трансформатора

Після того, як ChatGPT побачив величезну кількість слів, йому знадобився мозок, який зміг би осмислити всю цю інформацію. Цей мозок штучного інтелекту називається "Трансформер".

Трансформатор вирізняється тим, що він здатен зосередити увагу на найважливіших частинах вхідних даних, подібно до того, як ми обробляємо мову. 

Наприклад,

Давайте застосуємо це до математичної задачі:

• "Чому дорівнює сума чисел 5 і 7?"

Опрацьовуючи його, Transformer не просто читає слово за словом. 

Замість цього він розглядає весь контекст - "суму", "5" і "7" - одразу. 

Він визнає, що "сума" відноситься до "додавання" і що "5" і "7" - це цифри, які стосуються цього. 

Трансформатор дає більше "увага" до тих слів, які безпосередньо впливають на відповідь, тому він зосереджується на операції ("сума") та числах ("5" і "7"). 

Це ключова частина роботи ChatGPT - він не обробляє проблему лінійно, але так, щоб допомогти їй зрозуміти взаємозв'язок між елементами. 

Ця здатність дивитися на все в контексті - ось що робить Трансформер таким потужним. 

Замість того, щоб просто з'ясувати, що буде далі, він розуміє сенс, з'єднуючи відповідні частини речення разом. 

• Крок 3: Токенізація та обробка мови

Коли ви вводите текст у ChatGPT, він розбиває ваш запит на невеликі фрагменти жетони. 

Деякі лексеми є повними словами, а інші - лише частинами слів. 

Наприклад, 

Коли ви вводите "ChatGPT розумний". ChatGPT розбиває його на наступні токени:

["Chat", "G", "PT", "is", "smart"].

Навіть назва "ChatGPT" розбивається на різні токени. 

Цей процес називається токенізація. Оскільки моделі навчалися на лексемах, а не на повних словах, вони набагато гнучкіші в роботі:

Кілька мов (оскільки різні мови мають різну структуру слів),

Сленг та абревіатури (наприклад, "u" для "ти" або "idk" для "я не знаю").

Навіть вигадані слова або варіації (наприклад, розбиваючи слово "неймовірний" на "не", "вірити", "здатний"). 

• Крок 4: Точне налаштування та захисні шари

Після того, як ChatGPT пройшов навчання на великій кількості даних, він ще не зовсім готовий до прайм-тайму. 

Йому все ще потрібна допомога, щоб переконатися, що він реагує найбільш корисно, ввічливо і безпечно. 

Через контрольоване доопрацюванняЛюди-рецензенти надають ChatGPT приклади того, що є гарною відповіддю. Наприклад, 

• "Скільки буде 5 + 7?"
  • Погана відповідь: Це просте запитання. Чому ти цього не знаєш?
  • Гарна відповідь.: Сума 5 і 7 дорівнює 12. 

З часом ChatGPT тренується на кращих прикладах, щоб стати більш ввічливим, чітким і цілеспрямованим. 

Після того, як у нього з'являється міцний фундамент, він отримує більш просунуту допомогу через Навчання з підкріпленням на основі людського зворотного зв'язку (RLHF).

Цей процес відбувається так:

• ChatGPT відповідає. 
• Люди оцінюють що відповідь базується на тому, наскільки вона хороша - наскільки вона корисна, точна і безпечна. 
• ChatGPT вчиться від цього зворотного зв'язку і намагається давати кращі відповіді в майбутньому. 

Наприклад, уявіть, що ChatGPT відповідає на математичну задачу, наприклад "Скільки буде 12, поділене на 4?": 

• Відповідає ChatGPT: "3."
• Людські відгуки: Ця відповідь чудова. 
• ChatGPT навчається: Він продовжує давати подібні відповіді, коли з'являються подібні запитання. 

Мета полягає в тому, щоб ChatGPT продовжував вдосконалюватися, як студент, який вчиться на минулих помилках. 

Нарешті, однією з важливих цілей тонкого налаштування людиною є узгоджуватися з людськими цінностями. 

Ми хочемо, щоб вона була не лише розумною, але й корисною, нешкідливою та чесною. 

Наприклад, якщо користувач задає складне питання на кшталт, "Чому дорівнює квадратний корінь з -1?" 

Замість того, щоб давати неправильну відповідь на кшталт "я і є відповідь" без жодного контексту, він надасть її:

Безпечна, вирівняна відповідь: Квадратний корінь з -1 - це уявне число, яке зазвичай позначається як "i". Це поняття використовується у вищій математиці. 

• Крок 5: Підказка - вхід, відповідь - вихід

Це останній крок, на якому ChatGPT готовий відповісти на ваші запитання. 

Підказка - це текст (тобто питання, команда або твердження), який ви вводите в ChatGPT, щоб почати розмову і отримати відповідь. 

Наприклад, 

Ви вводите запит "Яка сьогодні погода?" 

Ось як працює ChatGPT за лаштунками:

Ви вводите підказку → ChatGPT розбиває її на токени → Шукає закономірності в токенах → Прогнозує наступне слово → Формує відповідь → Налаштовує тон відповідно до вашого тексту → Отримує остаточну відповідь

За підказку "Яка сьогодні погода?", ChatGPT, швидше за все, відповість щось на кшталт: 

"Я не можу надавати інформацію про погоду в режимі реального часу, але ви можете перевірити погодні сайти або додатки, такі як Weather.com, або місцеві новини, щоб отримати найточнішу інформацію".

Це пов'язано з тим, що ChatGPT не має доступу до даних у реальному часі, якщо він не підключений до інструменту, який отримує інформацію в режимі реального часу. 

Як він "запам'ятовує" розмови

Коли ви розмовляєте з ChatGPT, здається, що він пам'ятає те, що ви говорили раніше. 

Так і є - але тільки поки чат відкритий. Уявіть собі великий блокнот, куди записується все, що ви вводите: 

Як скажеш:

• Мого пса звати Макс.

Кількома рядками пізніше ви скажете:

• Яким трюкам Макс може навчитися?

ChatGPT з'єднує всі крапки над "і". Він пам'ятає, що Макс - ваш собака, адже він все ще на блокноті. 

Цей блокнот називається контекстне вікно, і містить обмежену кількість слів (так званих токенів). 

Деякі версії можуть зберігати близько 8 000 токенів, а найновіші - до 32 000 токенів. 

Але як тільки ви досягаєте межі, він починає стирати найстаріші частини, щоб звільнити місце для нового тексту. 

Тож якщо ви скажете "Мого пса звати Макс" ще на початку довгого чату - а потім через 50 абзаців запитати, "Який повідець для нього підійде?" - вона може забути, хто такий "він". 

Тому що ця інформація вже стерта з блокнота. 

Тепер поговоримо про пам'ять між чатами.

Зазвичай, коли ви закриваєте чат, блокнот витирається. 

Тож наступного разу, коли ви відкриєте ChatGPT, він почнеться з чистого аркуша.

 Але якщо ви увімкнете користувацьку пам'ять, ChatGPT може запам'ятовувати речі в різних сеансах. Наприклад, 

• Це ти скажи: Я керую невеликою онлайн-пекарнею під назвою Sweet Crumbs. 
• Тиждень по тому, - кажеш ти: Напишіть мені опис товару. 
• Він може відповісти: Звичайно! Ось опис вашого печива "Солодкі крихти"...

Він не пам'ятає всього. Він запам'ятовує лише те, що ви дозволили, і ви отримаєте повідомлення, коли щось буде додано. Ви можете переглянути, відредагувати або видалити спогади в будь-який час.

Отже, суть в наступному... 

ChatGPT насправді не "пам'ятайте" як людина. Вона просто дивиться на те, що перед нею - на поточну розмову.

Якщо здається, що він нагадує щось раніше, це тому, що ця інформація все ще знаходиться у контекстному вікні.

Обмеження роботи ChatGPT

ChatGPT неймовірно корисний, але важливо розуміти його обмеження, особливо якщо ви використовуєте його для чогось, пов'язаного з клієнтами або орієнтованого на конверсію. 

1 - Немає справжнього розуміння чи усвідомлення
ChatGPT не розуміє контент так, як людина. Він не "знає" факти - він просто прогнозує наступне ймовірне слово на основі навчальних даних. 

Наприклад, 

Якщо ви запитаєте, "Що означає успіх?" Вона може давати швидку відповідь, але не має переконань, цінностей чи усвідомлення. Вона імітує патерни, а не формує інсайти.

2 - Упередження від навчальних даних
Оскільки ChatGPT навчається на великих змішаних джерелах з інтернету, книг, форумів і статей, він може успадковувати упередження, знайдені в цих даних. 

Якщо інтернет схиляється до певної теми, ChatGPT може віддзеркалювати цю точку зору - іноді тонко, іноді ні - навіть коли потрібен нейтралітет.

3 - Не працює в Інтернеті
ChatGPT не може отримувати дані в режимі реального часу. Запитайте його про продукт, випущений минулого тижня, або про сьогоднішню ціну акцій, і він не матиме жодної підказки. 

Його навчальні дані мають відсікання, і все, що знаходиться після цієї точки, є недосяжним.

4 - Можуть "галюцинувати" фактами або посилатися на фейкові джерела
Одна з найнебезпечніших примх: ChatGPT може вигадувати речі. Попросіть його надати статистику або цитату, і він може відповісти,

"За даними Всесвітньої організації охорони здоров'я, 80% дорослих віддають перевагу бренду X перед брендом Y".

Звучить офіційно - але такої статистики, швидше за все, не існує. 

Його не знайшли, його винайшли. Ця проблема відома як галюцинаціяі це особливо ризиковано в дослідженнях, журналістиці чи технічному контенті. 

Якщо ви запитаєте ChatGPT, як він працює, то побачите, що він не завжди відповідає дійсності.

Якщо ви використовуєте ChatGPT для написання текстів, вони будуть здаватися жорсткими, роботоподібними або позбавленими людського голосу. 

Для таких нюансів можна використовувати AI Гуманізатор. 

У "The ШІ-гуманізатор переписує вихідні дані ChatGPT з урахуванням тональності, нюансів та емоцій, надаючи вашому контенту "серцебиття". 

Це пом'якшує незручні фрази, додає тепла, і змушує технічний або сухий текст резонувати з вашою аудиторією.

Коли ваш контент звучить по-людськи, він працює краще. 

Незалежно від того, що ви пишете - цільові сторінки, електронні листи чи пости в LinkedIn, - релевантність стимулює відгук. А емоції стимулюють конверсію.

Покращення в GPT-4 порівняно з GPT-3.5

GPT-3.5 - це безкоштовна версія, яка є швидкою, надійною та чудово підходить для простих завдань. GPT-4 - це платна версія OpenAI, яка є розумнішою, потужнішою та набагато кориснішою. 

Ось як ChatGPT працює з обома моделями:

У підсумку, GPT-3.5 був корисним. GPT-4 надійний, вдумливий і відчувається, що він слухає.

Почніть досліджувати - наш ШІ-детектор і гуманізатор чекають на вас у віджеті нижче!

Як будуються інструменти штучного інтелекту, такі як ChatGPT

Створення ШІ на кшталт ChatGPT або інших великих мовних моделей - це багаторічний проект, який включає в себе величезні масиви даних, команди експертів і безперервні ітерації. 

Ось як це зазвичай відбувається: 

1. Етап перший: збір даних (6-12 місяців)

Мета: Навчіть моделі мовних патернів.

Перш ніж штучний інтелект зможе відповідати на запитання, йому потрібно вивчити, як люди пишуть і розмовляють. 

Це починається зі збору сотень мільярдів слів з книг, веб-сайтів, новин, статей, наукових праць тощо. 

Він не "читає", як людина. Натомість він виявляє закономірності, як ми пояснювали в попередніх розділах.

Потрібен час: 6-12 місяців, залежно від масштабу та розміру команди. 

2. Етап другий: підготовка моделі (6-9 місяців)

Мета: Розвивай мозок.

Попереднє навчання передбачає подачу моделі великих обсягів тексту і надання їй можливості передбачати пропущені слова знову і знову, доки вона не почне робити це правильно. 

На цьому етапі часто потрібні потужні Кластери графічних процесорів і сотні мільйонів доларів на обчислювальні ресурси. 

Потрібен час: 6-9 місяців безперервного навчання GPU.

3. Третя фаза: Доопрацювання та зворотній зв'язок з користувачами (3-6 місяців)

Мета: Зробіть ШІ корисним.

Тепер вона може говорити - але чи має це сенс? Можливо, так, а можливо, ні. На цьому етапі люди-рецензенти оцінюють результати, виправляють помилки і керують моделлю, використовуючи метод навчання з підкріпленням на основі людських відгуків (RLHF).

Потрібен час: 3-6 місяців, часто паралельно з раннім тестуванням.

4. Четверта фаза: Розгортання та інфраструктура (триває)

Мета: Зробіть його масштабованим.

Після навчання модель розгортається на веб-сайтах, додатках, API та корпоративних платформах. Для цього потрібна серйозна внутрішня інфраструктура: центри обробки даних, API з автоматичним масштабуванням і системи балансування навантаження для роботи з мільйонами одночасних користувачів.

Часові рамки: Починається після тренінгу, але триває необмежений час.

5. П'ята фаза: Безпека, упередженість та етика (триває, паралельно)

Мета: Зберігайте її безпечною, чесною та нешкідливою.

ШІ - це не лише про інтелект, це про відповідальність. Паралельно працюють етичні команди, які виявляють потенційні зловживання, зменшують упередженість, блокують шкідливий контент і підтримують стандарти конфіденційності. Вони постійно оцінюють, як модель поводиться в реальному світі.

Часові рамки: Процес, що триває все життя; вбудований у кожну стадію вище.

Часті запитання про те, як працює ChatGPT

Заключні думки

Великі мовні моделі (ВММ) змінили те, як ми взаємодіємо з технологіями.

Вони можуть створювати текст, який звучить так, ніби його написала людина, допомагаючи у виконанні таких завдань, як відповіді на запитання та створення творчого контенту. 

Але магістри права не мають "розуміти" не думають, як люди. Вони працюють, передбачаючи закономірності в даних, а не через реальне людське мислення. 

У міру того, як LLM стають кращими, ми повинні думати про проблеми, які вони можуть спричинити, такі як упередженість, проблеми з конфіденційністю та зловживання. 

Важливо використовувати штучний інтелект обережно, щоб він був чесним, прозорим, не поширював неправдиву інформацію та не порушував приватність. 

Ось деякі з них інструкції з використання: 

• Майте на увазі, що ШІ може мати упередженість у своєму змісті.
  
• Використовуйте інструменти штучного інтелекту з дотриманням правил конфіденційності.
  
• Перевірте важливу інформацію з перевірених джерел.
  
• Не покладайтеся на штучний інтелект занадто сильно. Це інструмент, а не заміна людського мислення.

Оскільки технологія штучного інтелекту продовжує ставати дедалі потужнішою, виникає питання: Як ми можемо зробити так, щоб її досягнення сприяли людській творчості та прийняттю рішень, а не замінювали те, що робить нас унікальними людьми?