Скільки енергії використовує ChatGPT?

Якщо ви пориєтеся в інтернеті в пошуках відповіді на питання, скільки енергії використовує ChatGPT, ви, ймовірно, знайдете щось на зразок цього:

"ChatGPT використовує в 10 разів більше електроенергії, ніж пошук Google".

Якщо йти по сліду, то це твердження призводить до того, що 170-сторінковий звіт МЕАякий посилається на документ, що цитує ймовірну оцінку голови правління "Алфавіту"... на основі даних 2009 року. Ого!

Насправді, нові пошукові операції Google приблизно в 10 разів ефективніші, ніж у 2009 році, а фактичне споживання енергії на запит у ChatGPT сьогодні набагато нижче, ніж передбачалося першими тривожними дзвіночками.

Новіші моделі, такі як GPT-4o, досягли значних успіхів у підвищенні ефективності, а це означає, що цифри в заголовках застаріли і, чесно кажучи, трохи вводять в оману.

Отже, яка ж реальна картина? Це саме те, в що ми тут занурюємося.

Ваші висновки будуть такими:

• Що забезпечує роботу ChatGPT?
• Скільки енергії використовує один пошук в ChatGPT?
• Скільки енергії він споживає порівняно з пошуком Google та іншими моделями штучного інтелекту?
• Що робить OpenAI, щоб зменшити цей вплив?
• Які кроки ви можете зробити як користувач, щоб зробити використання ШІ більш відповідальним?

Давайте заглибимося в це.

Що забезпечує роботу ChatGPT?

Марк Русинович, технічний директор Microsoft Azure, дозволив нам зазирнути за завісу у подкасті що Microsoft опублікувала в 2023 році. 

За його словами, Microsoft побудувала інфраструктуру, здатну навчати моделі з сотнями мільярдів параметрів. 

GPT-3, наприклад, мав 175 мільярдів параметрів, що вже звучить як занадто багато, поки ви не почуєте, що модель Мегатрон-Тьюрінга від Microsoft не витримала 530 мільярдів.

В апаратному плані оригінальний суперкомп'ютер OpenAI 2020 року об'єднав понад 285 000 процесорних ядер AMD InfiniBand і 10 000 графічних процесорів NVIDIA V100 Tensor Core, підключених до мережі InfiniBand. 

Нова серія віртуальних машин H100 кластеризує до восьми графічних процесорів NVIDIA H100 Tensor Core на віртуальну машину і масштабується до тисяч, подібно до високопродуктивної інфраструктури, яка використовується в хостинг серверів Minecraft щоб забезпечити низьку затримку та високий час безвідмовної роботи.

Коротше кажучи, якщо вам цікаво, що забезпечує роботу ChatGPT, відповідь буде такою: все це.

Всі ядра, всі графічні процесори, вся мережева пропускна здатність, про яку ви тільки могли мріяти.

Розрахункове енергоспоживання ChatGPT

Тепер перейдемо до основного питання: скільки енергії ChatGPT використовує на одне запитання? 

Ви можете очікувати, що він буде апокаліптичним, ніби він тане льодовики з кожною підказкою, яку ви вводите. 

Але насправді, за останніми оцінками, ваш типовий запит ChatGPT на GPT-4o споживає близько 0,3 ват-годин (Вт/год). 

Це приблизно в десять разів менше, ніж старіші (і, ймовірно, неточні) оцінки від початку 2023 року, які визначали його на рівні 3 ват-годин. 

Стрибок в ефективності зводиться до кращих моделей, кращого обладнання та усвідомлення того, що старі оцінки були надто песимістичними щодо кількості токенів.

Для масштабу: 0,3 ват-години - це менше енергії, ніж споживає ваш ноутбук, поки ви підігріваєте каву. 

Навіть якщо ви цілими днями надсилаєте важкі запити, кількість енергії, яку споживає ChatGPT за день, все одно є досить скромною порівняно, скажімо, з роботою кондиціонера або ігрового ПК. Але це лише ваше використання.

Станом на лютий база користувачів OpenAI перевищувала 400 мільйонів щотижня, що свідчить про те, що Представник OpenAI повідомив Reuters. Тож це буде багато ват-годин, навіть якщо ви будете ефективно використовувати їх.

Важливо зазначити, що ця цифра 0,3 ват-години все ще є дещо обережною. 

Багато повсякденних запитів, ймовірно, коштують дешевше.

Але запити, які передбачають велику кількість вхідних даних, великі вихідні дані або надпотужні моделі міркувань, все одно можуть значно підвищити споживання.

Використання енергії: GPT-4 проти GPT-3.5

Незважаючи на те, що GPT-3.5 відійшов у минуле, його спадщина все ще залишається, особливо коли ми говоримо про те, скільки енергії використовує ChatGPT у різних версіях.

Ось що говорять дані про його енергоспоживання порівняно з GPT-4.

Для моделі типу GPT-3 з приблизно 175 мільярдами параметрів викиди вже були інтенсивними, але перехід до моделі типу GPT-4 з важчою архітектурою може збільшити викиди приблизно в 200 разів. 

За словами Джорджа ХотцаGPT-4 - це вісім екземплярів моделі GPT-3 з параметрами 220B, зшитих разом. 

Але важливо те, що лише дві з цих моделей фактично маршрутизуються під час виведення, а це означає, що реальна дія відбувається з приблизно 280B ефективних параметрів, якщо врахувати деякий розподіл параметрів (~55B для механізмів уваги).

Порівняйте це з параметрами GPT-3.5 на 175B, і ви почнете розуміти, чому витрати на виведення в GPT-4 втричі вищі. 

Зростання енергоспоживання випереджає просте збільшення кількості параметрів, яке мало б передбачати лише 1,6-кратне зростання. 

Але цього не сталося, тому що запити GPT-4 просто набагато дорожчі. 

Вуглецевий слід моделей штучного інтелекту

Запуск великих моделей штучного інтелекту коштує недешево, як для планети, так і для рахунків за електроенергію.

Ці моделі вимагають серйозних обчислювальних потужностей, що означає багато електроенергії і, в багатьох випадках, багато викидів.

Наприклад, GPT-3, за повідомленнями, потребував близько 1 287 МВт-год електроенергії для тренувань, виробляючи понад 50 фунтів CO2.

Новіші моделі, такі як GPT-4o, ще більші, але OpenAI не опублікувала їх точний розмір.

Крім ChatGPT від OpenAI, у вас є помічник Meta, який, ймовірно, працює на моделях Llama 3.2 (параметри 11B або 90B).

Знову ж таки, точні цифри викидів CO2 недоступні.

Claude 3.5 Sonnet від Anthropic важить набагато більше, оцінюючись приблизно в 400 мільярдів параметрів без розкриття його точного вуглецевого сліду.

А Google Gemini? Працює на версіях "Flash" та "Pro", хоча Google не розкриває точних номерів параметрів.

Ми все ще можемо зробити висновок, що вони знаходяться в тому ж діапазоні, що і GPT-4o або його міні-версії.

І якщо говорити про оптимізовані моделі, то DeepSeek-V3 має лише 37 мільярдів активних параметрів (з 671 мільярда загальних). 

Його варіант міркувань R1 демонструє високу продуктивність при більш делікатному споживанні енергії на токен, ніж GPT-4o. 

Як ChatGPT порівнюється з іншими інструментами?

На цьому етапі вам слід знати, що кількість енергії, яку споживає ChatGPT, залежить від версії, з якою ви взаємодієте, довжини підказок і механіки, що знаходиться під капотом. 

Порівняно з більшою кількістю інструментів штучного інтелекту, ChatGPT має середні показники енергоспоживання, особливо для моделей високого класу. 

Але коли мова йде про частку ринку та частоту використання, навіть "середній" показник перетворюється на величезний енергетичний слід у масштабах.

Енергоспоживання проти пошуку в Google

У 2009 році, Google підрахував енергетичні витрати на один пошуковий запит становитимуть 0,3 Вт-год.

Перейдемо до 2024 року, і ця оцінка припаде пилом.

Виявляється, сучасні пошукові запити в Google насправді використовують приблизно в 10 разів менше енергії, ніж ті ранні оцінки. 

Тим часом, попередні оцінки енергії для середнього LLM-запиту, включаючи ChatGPT, також були приблизно в 10 разів завищені (2,9 Вт).

З останніми дослідженнями, які свідчать про те, що енергоспоживання Google на рівні 0,04 Вт а ChatGPT - 0,3 Вт-год, ці дві помилки нівелюють одна одну, а це означає, що старе твердження "LLM використовують приблизно в 10 разів більше енергії на запит, ніж Google Search" все ще в силі... але тільки тому, що всі помилялися у правильному напрямку. 

Що робить OpenAI для зменшення впливу?

OpenAI повністю усвідомлює, що тренувальні та бігові моделі, такі як ChatGPT, витрачають енергію значно швидше. 

Що підводить нас до питання: що з цим робиться?

По-перше, OpenAI наполягає на підвищенні ефективності. 

З часом з'явилися новіші моделі, такі як GPT-4o, а зараз GPT-4.1були спеціально оптимізовані для значно меншого споживання енергії під час виведення. 

Досягнення в архітектурі моделі, обробці токенів і вдосконаленні апаратного забезпечення на рівні сервера означають, що сьогодні енерговитрати на запит ChatGPT вже набагато нижчі, ніж були б навіть рік тому при виконанні тієї ж задачі.

OpenAI також співпрацює з Microsoft Azure, і До 2025 року Azure зобов'язалася запустити свої центри обробки даних на відновлюваній енергії 100%. 

Це важливо, тому що коли ви надсилаєте запити до ChatGPT, ви пінгуєте суперкомп'ютери Azure, про які ми говорили раніше. 

Перехід від викопного палива до відновлюваних джерел енергії не призводить до прямого зменшення потужності, яку використовує запит, але радикально знижує вуглецевий слід, пов'язаний з ним.

Крім інфраструктури, є ще кілька перспективних речей, що відбуваються в майбутньому. OpenAI активно досліджує способи зменшити розмір моделей без шкоди для продуктивності.

Стиснення моделей, дистиляція і більш розумна маршрутизація (наприклад, динамічна обробка токенів) - дуже актуальні теми в колах, що займаються питаннями ефективності ШІ. 

Що ви можете зробити як користувач?

Хоча OpenAI справляється з великими структурними змінами, користувачі все ще відіграють важливу роль у мінімізації відходів та відповідальному використанні ChatGPT. 

Ось що ви можете зробити:

• Будь лаконічним: Формулюйте свої підказки чітко і стисло. Кожен додатково оброблений токен коштує трохи енергії.
• Уникайте спам-повідомлень: Не піддавайтеся спокусі подати 15 трохи переформульованих версій одного і того ж питання.
• Використовуйте відповідні моделі: Коли це можливо, обирайте легші та дешевші моделі (наприклад, GPT-4o-mini, якщо вони пропонуються) для повсякденних або легких завдань.
• Пакетні запити: Замість купи розрізнених запитань об'єднайте їх в одну, добре продуману підказку.

Якщо ви хочете скоротити кількість нескінченних перепитувань і перегенерацій, розумно використовувати спеціальні інструменти, які генерують чистіший, готовий до публікації контент з перших спроб.

Це місце, де ШІ, який неможливо виявити такі інструменти, як Стелс-письменник або Перефразовувач Заходьте. 

Замість того, щоб просити ChatGPT створити ідеальну версію вашого тексту шляхом численних редагувань і повторних спроб (кожна з яких коштує більше енергії), ви можете просто скористатися нашими спеціалізованими інструментами, створеними для точності. 

Інструменти, призначені для конкретних дій, зазвичай працюють ефективніше, і всі наші інструменти вписуються в цю модель розумного, енергоощадливого використання. 

Іншими словами, чистіший результат за меншу кількість спроб = менше спаленої енергії = щасливіші сервери = ви рятуєте світ, один чіткий абзац за раз.

Готові побачити різницю? Запустіть наш ШІ-детектор і гуманізатор у віджеті нижче!

Часті запитання: ChatGPT та використання енергії

Останні думки: Енергетичні витрати на ШІ

Отже, кількість енергії, яку споживає ChatGPT, значною мірою залежить від моделі, до якої ви маєте доступ, і від того, як ви її використовуєте. 

Але загалом очевидно, що нові моделі стають все більш ефективними, а промисловість докладає реальних зусиль для зменшення впливу на навколишнє середовище.

При цьому вибір правильного інструменту для правильного завдання може суттєво вплинути на ваш цифровий слід. 

Розумніші робочі процеси, менша кількість повторних спроб і чіткіші підказки - все це сприяє зниженню енергоспоживання. 

А коли ви поєднуєте ChatGPT зі спеціальними інструментами, такими як Undetectable AI, ви отримуєте найкраще з обох світів.

Ви створюєте чистий, відшліфований і готовий до публікації контент з меншою кількістю спроб і помилок. Це означає економію часу, комп'ютерних ресурсів і, так, трохи планети.

Якщо ви хочете працювати розумніше та екологічніше, підпишіться на Undetectable AI вже сьогодні.