Как работает ChatGPT? Простое объяснение технологии

В последние пару лет у всех на устах одна вещь: ChatGPT.

Учителя беспокоиться о том, что он пишет домашние задания для учеников. 

Писатели боятся, что вместо них книги и рассказы напишет искусственный интеллект. 

Кодеры боятся, что она будет создавать сайты и приложения лучше, чем это могут делать люди. 

Некоторые даже предсказывают, что миллионы рабочих мест могут исчезнуть из-за искусственного интеллекта. 

Мы все о нем слышали. Но задумывались ли вы когда-нибудь. как ChatGPT работает? 

Как ChatGPT пишет домашнее задание для ребенка? Что происходит за кулисами, когда вы вводите вопрос, а он отвечает как настоящий человек? 

Как машина может писать стихи, рассказы и коды, даже если она не понимает слов так, как мы?

В этом блоге, мы заглянем внутрь ChatGPT и пошагово объяснит, что такое ChatGPT и как он работает.

Вы узнаете, как он запоминает вещи, каковы его возможности и как вообще создаются подобные инструменты. 

Давайте начнем!

Основание: Языковые модели GPT

ChatGPT - это искусственный интеллект, который понимает и пишет как человек. 

Это называется языковая модель потому что он работает с языком - читает его, предсказывает и генерирует. 

Но оно не понимает, как люди. Оно не думает. Оно не знает фактов. Оно просто смотрит на узоры. 

Например, 

• Если вы напечатаете, "Небо..."
• Там может быть написано "Синий". 

Не потому, что он знает, что небо голубое, а потому, что видел это предложение миллионы раз во время обучения. Он узнал, что "голубое" часто идет после "небо голубое".

Этот тип искусственного интеллекта называется LLM, что означает Большая языковая модель. 

Он изучает тонны учебников, веб-сайтов и многое другое, чтобы понять, как люди используют слова. Но он не читает по смыслу. Он изучает, как слова обычно располагаются рядом друг с другом. 

GPT это особый вид LLM.

GPT означает "Генеративный предварительно обученный трансформатор".

• Генеративный - он может создавать новый текст.
• Предварительно обученный - он узнает, прежде чем заговорит с вами.
• Трансформатор - ключевая технология работы ChatGPT, которая помогает ему понять, как слова соотносятся друг с другом в предложении, абзаце или даже разговоре.

Вот различные версии GPT, которые были выпущены за эти годы.

Как работает ChatGPT

Вот упрощенное описание того, как работает ChatGPT и обрабатывает ваши данные в пять ключевых шагов. 

• Шаг 1: предварительное обучение на большом количестве данных

Большие языковые модели (LLM) такие как ChatGPT, предварительно обучаются путем обработки огромного количества текстов из Интернета для изучения языковых шаблонов. 

Во время предварительной подготовки модель обрабатывает триллионы токенов (маленькие кусочки текста). 

A жетон может быть словом, частью слова или даже пунктуацией, в зависимости от того, как модель токенизирует входные данные. 

Например, 

Вы задаете ChatGPT математический вопрос, например:

Проблема:

• 2 + 3 = ? 

В процессе обучения ChatGPT считывает сотни миллиардов слов из книг, новостей, статей, Википедии, рассказов, научных статей и даже тем Reddit.

Это обучение и чтение помогают ему понять, как работает сложение. 

Например,

Он может научиться коммутативное свойство (т.е. 2 + 3 = 3 + 2) через такие контексты.

ChatGPT видит множество примеров, таких как 

• "2 + 3 = 5," 
• "7 + 8 = 15," 
• "9 + 4 = 13." 

Он усваивает не только эти конкретные примеры, но и всю схему сложения. 

Он понимает, как числа взаимодействуют с символом "+" и как результат обычно следует за символом "=". 

• Шаг 2: Архитектура трансформатора

После того как ChatGPT просмотрел огромное количество слов, ему понадобился мозг, который мог бы осмыслить всю эту информацию. Такой мозг искусственного интеллекта называется "Трансформер".

Отличительной особенностью трансформера является его способность концентрация внимания на наиболее важных частях информации, подобно тому, как мы обрабатываем язык. 

Например,

Давайте применим это к математической задаче:

• "Чему равна сумма 5 и 7?"

При обработке трансформатор не просто просматривает слово за словом. 

Вместо этого он рассматривает весь контекст - "сумму", "5" и "7" - сразу. 

В нем признается, что "сумма" относится к "дополнение" и что "5" и "7" - это числа, о которых идет речь. 

Трансформатор дает больше "внимание" на те слова, которые непосредственно влияют на ответ, поэтому он фокусируется на операции ("сумма") и числах ("5" и "7"). 

Это ключевая часть работы ChatGPT - он не линейно обрабатывает проблему, но таким образом, чтобы помочь ему понять взаимосвязь между элементами. 

Эта способность рассматривать все в контексте и делает трансформера таким мощным. 

Вместо того чтобы просто понять, что будет дальше, он понимает смысл, соединяя соответствующие части предложения вместе. 

• Шаг 3: Токенизация и обработка языка

Когда вы набираете текст в ChatGPT, он разбивает его на небольшие фрагменты жетоны. 

Некоторые лексемы представляют собой целые слова, а другие - только части слов. 

Например, 

Когда вы вводите "ChatGPT - это умно". ChatGPT разделяет его на следующие токены:

["Chat", "G", "PT", "is", "smart"].

Даже название "ChatGPT" разделяется на разные токены. 

Этот процесс называется токенизация. Поскольку модели были обучены на лексемах, а не на полных словах, они гораздо гибче в обработке:

Несколько языков (поскольку в разных языках разные структуры слов),

Сленг и аббревиатуры (например, "u" для "ты" или "idk" для "я не знаю").

Даже выдуманные слова или их вариации (например, разбить слово "невероятный" на "un", "believ", "able"). 

• Шаг 4: Тонкая настройка и защитные слои

После того как ChatGPT был обучен на огромном количестве данных, он еще не совсем готов к прайм-тайму. 

Ему все еще нужна помощь, чтобы убедиться, что он отвечает наиболее полезным, вежливым и безопасным способом. 

Через контролируемая тонкая настройкаРецензенты-люди дают ChatGPT примеры того, что является хорошим ответом. Например, 

• "Сколько будет 5 + 7?"
  • Плохой ответ: Это простой вопрос. Почему вы этого не знаете?
  • Хороший ответ: Сумма 5 и 7 равна 12. 

Со временем ChatGPT обучается на лучших примерах, чтобы стать более вежливым, четким и сосредоточенным. 

После того как он заложит прочную основу, он получит более продвинутую помощь через Обучение с подкреплением на основе человеческой обратной связи (RLHF).

Этот процесс происходит следующим образом:

• Ответы ChatGPT. 
• Уровень людей ответ на этот вопрос зависит от того, насколько он хорош - насколько полезен, точен и безопасен. 
• ChatGPT учится из этих отзывов и старается давать лучшие ответы в будущем. 

Например, Представьте, что ChatGPT отвечает на математическую задачу, например "Сколько будет 12, деленное на 4?": 

• ChatGPT отвечает: "3."
• Обратная связь с людьми: Этот ответ замечательный. 
• ChatGPT учится: Он продолжает давать такой ответ, когда появляются похожие вопросы. 

Цель состоит в том, чтобы ChatGPT продолжал совершенствоваться, подобно студенту, который учится на прошлых ошибках. 

Наконец, одной из важных целей тонкой настройки, осуществляемой людьми, является соответствуют человеческим ценностям. 

Мы хотим, чтобы он был не только умным, но и полезным, безобидным и честным. 

Например, Если пользователь задает сложный вопрос, например, "Чему равен квадратный корень из -1?" 

Вместо того чтобы давать неправильный ответ, например "i - это ответ", без какого-либо контекста, он может предоставить:

Безопасный, выверенный ответ: Квадратный корень из -1 - это мнимое число, которое обычно обозначается как "i". Это понятие используется в высшей математике. 

• Шаг 5: подсказка на входе, ответ на выходе

Это последний шаг, на котором ChatGPT готов ответить на ваши вопросы. 

Подсказка - это текст (например, вопрос, команда или утверждение), который вы вводите в ChatGPT, чтобы начать разговор и получить ответ. 

Например, 

Вы вводите подсказку "Какая сегодня погода?" 

Вот как работает ChatGPT за кулисами:

Вы вводите запрос → ChatGPT разбивает его на лексемы → Он ищет закономерности в лексемах → Прогнозирует следующее слово → Формирует ответ → Регулирует тон в зависимости от вашего текста → Получает ваш окончательный ответ

Для подсказки "Какая сегодня погода?", ChatGPT, скорее всего, ответит что-то вроде: 

"Я не могу предоставлять информацию о погоде в режиме реального времени, но вы можете проверить погодный сайт или приложение, например Weather.com, или местные новости, чтобы получить наиболее точную информацию".

Это связано с тем, что ChatGPT не имеет доступа к данным в реальном времени, если он не подключен к инструменту, который получает информацию в режиме реального времени. 

Как он "запоминает" разговоры

Когда вы разговариваете с ChatGPT, кажется, что он запоминает то, что вы говорили ранее. 

И это действительно так - но только пока чат открыт. Представьте себе большой блокнот, в который записывается все, что вы набираете: 

Вы говорите:

• Мою собаку зовут Макс.

Через несколько строк вы говорите:

• Каким трюкам может научиться Макс?

ChatGPT соединяет точки. Он помнит, что Макс - это ваша собака, потому что она все еще записана в блокноте. 

Этот блокнот называется контекстное окно, и вмещает ограниченное количество слов (называемых лексемами). 

Некоторые версии вмещают около 8 000 жетонов, а самые новые могут достигать 32 000 жетонов. 

Но как только вы достигнете предела, он должен будет начать стирать самые старые части, чтобы освободить место для нового текста. 

Так что если вы скажете "Мою собаку зовут Макс". в самом начале долгой беседы, а потом, спустя 50 абзацев, спрашивает, "Какой поводок для него подойдет?" - он может забыть, кто такой "он". 

Потому что эта информация уже стерта из блокнота. 

Теперь давайте поговорим о памяти между чатами.

Обычно, когда вы закрываете чат, блокнот стирается. 

Таким образом, при следующем открытии ChatGPT все начнется сначала.

 Но если вы включите пользовательскую память, ChatGPT сможет запоминать вещи в разных сессиях. Например, 

• Рассказывайте: Я управляю небольшой онлайн-пекарней под названием Sweet Crumbs. 
• Через неделю вы говорите: Напишите мне описание товара. 
• Он может ответить: Конечно! Вот описание для вашего печенья "Сладкие крошки"...

Он не запоминает все. Он запоминает только то, что вы разрешили, и вам сообщат, когда что-то будет добавлено. Вы можете просматривать, редактировать или удалять воспоминания в любое время.

Итак, суть в следующем... 

ChatGPT на самом деле не "помнить" как человек. Он просто смотрит на то, что находится перед ним - на текущий разговор.

Если кажется, что он вспоминает что-то из предыдущего, это потому, что информация все еще находится в контекстном окне.

Ограничения в работе ChatGPT

ChatGPT невероятно полезен, но важно понимать его ограничения, особенно если вы используете его для работы с клиентами или конверсией. 

1 - Нет настоящего понимания или осознания
ChatGPT не понимает контент так, как это делают люди. Он не "знает" факты - он просто предсказывает следующее вероятное слово на основе обучающих данных. 

Например, 

Если вы спросите, "Что означает успех?" он может генерировать беглый ответ, но у него нет убеждений, ценностей или осознания. Он подражает шаблонам, а не формирует понимание.

2 - Предвзятость обучающих данных
Поскольку ChatGPT обучается на большом количестве смешанных источников из интернета, книг, форумов и статей, он может унаследовать предвзятость, присутствующую в этих данных. 

Если интернет склоняется к одной из тем, ChatGPT может отразить эту точку зрения - иногда незаметно, иногда нет - даже если требуется нейтралитет.

3 - Не просматривает Интернет
ChatGPT не может получать данные в режиме реального времени. Спросите его о продукте, выпущенном на прошлой неделе, или о сегодняшнем курсе акций, и он ничего не сможет сказать. 

Данные для обучения имеют определенную границу, и все, что находится после этой точки, становится недоступным.

4 - Может "галлюцинировать" факты или ссылаться на поддельные источники
Одна из самых опасных причуд: ChatGPT может все выдумать. Попросите его привести статистику или цитату, и он может ответить,

"По данным Всемирной организации здравоохранения, 80% взрослых предпочитают бренд X бренду Y".

Звучит официально, но такой статистики, скорее всего, не существует. 

Его не извлекли, его придумали. Этот вопрос известен как галлюцинацияЭто особенно рискованно в исследованиях, журналистике или техническом контенте. 

Если вы спросите ChatGPT, как это работает, то увидите, что это не всегда соответствует действительности.

Если вы используете ChatGPT для написания текстов, результат будет казаться жестким, роботизированным или лишенным человеческого начала. 

Для таких нюансов вы можете использовать ИИ-гуманизатор. 

Сайт Гуманизатор искусственного интеллекта переписывает выходные данные ChatGPT с учетом тона, нюансов и эмоций, придавая вашему контенту сердечный ритм. 

Это смягчает неловкие фразы, добавляет теплоты, и делает так, чтобы техническая или сухая копия нашла отклик у вашей аудитории.

Когда ваш контент звучит по-человечески, он работает лучше. 

Что бы вы ни писали - целевые страницы, электронные письма или посты в LinkedIn, - родственность способствует отклику. А эмоции способствуют конверсии.

Улучшения в GPT-4 по сравнению с GPT-3.5

GPT-3.5 - это бесплатная версия, которая работает быстро, надежно и отлично подходит для решения простых задач. GPT-4 - это платная версия OpenAI, которая умнее, мощнее и намного полезнее. 

Вот как ChatGPT работает с обеими моделями:

В итоге GPT-3.5 оказался полезным. GPT-4 надежен, продуман и как будто слушает.

Начните исследовать - наши ИИ-детектор и гуманизатор ждут вас в виджете ниже!

Как создаются инструменты искусственного интеллекта, подобные ChatGPT

Создание ИИ, подобного ChatGPT или другим крупным языковым моделям, - это многолетний проект, в котором задействованы огромные массивы данных, команды экспертов и неустанные итерации. 

Вот как это обычно происходит: 

1. Первая фаза: сбор данных (6-12 месяцев)

Цель: Обучите модель языковым моделям.

Прежде чем ИИ сможет отвечать на вопросы, ему необходимо изучить, как люди пишут и говорят. 

Для этого необходимо собрать сотни миллиардов слов из книг, веб-сайтов, новостей, статей, научных работ и т.д. 

Он не "читает", как люди. Вместо этого он выявляет закономерности, как мы уже объясняли в предыдущих разделах.

Требуется время: 6-12 месяцев, в зависимости от масштаба и размера команды. 

2. Вторая фаза: предварительное обучение модели (6-9 месяцев)

Цель: Развивайте мозг.

Предварительное обучение включает в себя подачу модели больших объемов текста и предоставление ей возможности предсказывать пропущенные слова снова и снова, пока она не начнет их правильно понимать. 

На этом этапе часто требуются мощные Кластеры на базе графических процессоров и вычислительных ресурсов на сотни миллионов долларов. 

Требуется время: 6-9 месяцев непрерывного обучения GPU.

3. Третья фаза: Тонкая настройка и обратная связь с людьми (3-6 месяцев)

Цель: Сделайте ИИ полезным.

Теперь он может говорить - но есть ли в этом смысл? Может быть, а может и нет. На этом этапе люди оценивают результаты, исправляют ошибки и направляют модель с помощью технологии Reinforcement Learning from Human Feedback (RLHF).

Требуется время: 3-6 месяцев, часто параллельно с ранним тестированием.

4. Четвертая фаза: Развертывание и инфраструктура (продолжается)

Цель: Сделайте его масштабируемым.

После обучения модель развертывается на веб-сайтах, в приложениях, API и корпоративных платформах. Для этого требуется серьезная внутренняя инфраструктура: центры обработки данных, API с автоматическим масштабированием и системы балансировки нагрузки для работы с миллионами одновременных пользователей.

Таймфрейм: Начинается после тренировки, но продолжается неопределенное время.

5. Пятая фаза: Безопасность, предвзятость и этика (продолжается, параллельно)

Цель: Пусть это будет безопасно, честно и не вредно.

ИИ - это не только интеллект, но и ответственность. Команды по этике работают параллельно, чтобы выявлять потенциальные злоупотребления, снижать предвзятость, блокировать вредный контент и соблюдать стандарты конфиденциальности. Они постоянно оценивают, как модель ведет себя в реальном мире.

Таймфрейм: Процесс длится всю жизнь; он включает в себя все вышеперечисленные этапы.

Вопросы и ответы о том, как работает ChatGPT

Заключительные мысли

Большие языковые модели (LLM) изменили наше взаимодействие с технологиями.

Они могут создавать текст, который звучит так, будто его написал человек, помогая решать такие задачи, как ответы на вопросы и создание креативного контента. 

Но магистранты не "понять" вещи или думать как люди. Они работают, предсказывая закономерности в данных, а не благодаря реальному человеческому мышлению. 

По мере совершенствования LLM мы должны думать о проблемах, которые они могут вызвать, таких как предвзятость, проблемы конфиденциальности и злоупотребления. 

Важно использовать ИИ осторожно, обеспечивая его справедливость, прозрачность, не распространяя ложную информацию и не нарушая конфиденциальность. 

Вот Рекомендации по использованию: 

• Помните, что ИИ может быть предвзятым в своем содержании.
  
• Используйте инструменты ИИ в соответствии с правилами конфиденциальности.
  
• Перепроверяйте важную информацию из надежных источников.
  
• Не стоит слишком полагаться на искусственный интеллект. Это инструмент, а не замена человеческого мышления.

По мере того как технологии ИИ становятся все более мощными, возникает вопрос: Как сделать так, чтобы его достижения способствовали развитию творческих способностей человека и принятию решений, а не заменяли то, что делает нас уникальными людьми?