Kolik energie spotřebuje ChatGPT?

Pokud budete na internetu hledat odpovědi na otázku, kolik energie spotřebuje ChatGPT, pravděpodobně najdete něco podobného:

"ChatGPT spotřebuje desetkrát více elektřiny než vyhledávání na Googlu."

Pokud sledujete stopu, vede toto tvrzení k 170stránková zpráva IEA, který odkazuje na článek citující pravděpodobný odhad předsedy představenstva společnosti Alphabet... na základě údajů z roku 2009. A jéje!

Ve skutečnosti jsou novější vyhledávací operace společnosti Google asi 10x efektivnější než v roce 2009 a skutečná spotřeba energie na jeden požadavek je dnes mnohem nižší, než naznačovaly první poplašné zprávy.

Novější modely, jako je GPT-4o, dosáhly významného pokroku v účinnosti, což znamená, že uváděná čísla jsou zastaralá a upřímně řečeno trochu zavádějící.

Jaký je tedy skutečný obraz? Přesně do toho se zde ponoříme.

Odnesete si následující:

• Co se skrývá pod kapotou aplikace ChatGPT?
• Kolik energie spotřebuje jedno vyhledávání ChatGPT?
• Kolik energie spotřebuje ve srovnání s vyhledávačem Google a dalšími modely umělé inteligence?
• Co dělá OpenAI pro snížení svého dopadu?
• Jaké kroky můžete jako uživatelé podniknout, abyste umělou inteligenci používali zodpovědněji?

Pusťme se do toho.

Co je to ChatGPT?

Mark Russinovich, technický ředitel Microsoft Azure, nás nechal nahlédnout za oponu v podcastu že Společnost Microsoft zveřejnila v roce 2023. 

Podle něj Microsoft vybudoval infrastrukturu schopnou trénovat modely se stovkami miliard parametrů. 

Například GPT-3 měl 175 miliard parametrů, což už zní jako příliš mnoho, dokud neuslyšíte, že model Megatron-Turing od Microsoftu měl 530 miliard.

Původní superpočítač OpenAI 2020 měl z hlediska hardwaru více než 285 000 jader CPU připojených přes InfiniBand od společnosti AMD a 10 000 grafických procesorů NVIDIA V100 Tensor Core. 

Nová řada virtuálních počítačů H100 sdružuje až osm grafických procesorů NVIDIA H100 Tensor Core na virtuální počítač a lze ji škálovat až na tisíce. 

Pokud vás zajímá, co všechno pohání ChatGPT, odpověď je v podstatě následující: všechno.

Všechna jádra, všechny grafické procesory, veškerá síťová propustnost, kterou byste si kdy mohli vysnít.

Odhadovaná spotřeba energie zařízení ChatGPT

Nyní se zaměříme na skutečnou otázku: kolik energie spotřebuje ChatGPT na jednu otázku? 

Možná byste čekali, že bude apokalyptický, že s každým zadaným pokynem roztají ledovce. 

Podle posledních odhadů však typický dotaz ChatGPT na GPT-4o spotřebuje přibližně 0,3 watthodiny (Wh). 

To je asi desetkrát méně než starší (a pravděpodobně nepřesné) odhady z počátku roku 2023, které uváděly 3 watthodiny. 

Skok v efektivitě je důsledkem lepších modelů, ostřejšího hardwaru a zjištění, že starší odhady byly příliš pesimistické ohledně počtu žetonů.

Pro představu, 0,3 watthodiny je méně energie, než kolik spotřebuje váš notebook při ohřívání kávy. 

I když celý den zadáváte náročné dotazy, čísla o spotřebě energie za den jsou v porovnání například se spuštěním klimatizace nebo herního počítače stále docela nízká. Ale to je jen vaše spotřeba.

Uživatelská základna OpenAI činila v únoru více než 400 milionů uživatelů týdně. Mluvčí společnosti OpenAI řekl agentuře Reuters. Takže to bude hodně watthodin, i když budete efektivní.

Je důležité si uvědomit, že údaj 0,3 watthodiny je stále poněkud opatrný. 

Mnohé každodenní dotazy jsou pravděpodobně levnější než tato částka.

Dotazy, které zahrnují obrovské množství vstupů, rozsáhlé výstupy nebo náročné argumentační modely, však mohou spotřebu ještě výrazně zvýšit.

Spotřeba energie: GPT-4 vs GPT-3.5

Přestože byla verze GPT-3.5 ukončena, její odkaz stále přetrvává, zejména pokud se bavíme o tom, kolik energie spotřebovává ChatGPT v různých verzích.

Zde jsou údaje o spotřebě energie v porovnání se systémem GPT-4.

U modelu typu GPT-3 s přibližně 175 miliardami parametrů byly emise již tak vysoké, ale přechod na model typu GPT-4 s těžší architekturou by mohl zvýšit emise přibližně 200krát. 

Podle George Hotze, GPT-4 je osm instancí modelu GPT-3 s parametry 220B sešitých dohromady. 

Důležité však je, že pouze dva z těchto modelů jsou skutečně směrovány během inference, což znamená, že skutečná akce probíhá s přibližně 280B efektivních parametrů, jakmile započítáte určité sdílení parametrů (~55B pro mechanismy pozornosti).

Porovnejte to s konfigurací 175B v GPT-3.5 a pochopíte, proč jsou náklady na odvozování v GPT-4 až třikrát vyšší. 

Nárůst spotřeby energie převyšuje pouhý nárůst počtu parametrů, který by měl naznačovat pouze 1,6násobný nárůst. 

Ale to se nestalo, protože dotazy GPT-4 jsou prostě mnohem dražší. 

Uhlíková stopa modelů umělé inteligence

Provozování velkých modelů umělé inteligence není levné ani pro planetu, ani pro účet za elektřinu.

Tyto modely vyžadují velkou výpočetní sílu, což znamená hodně elektřiny a v mnoha případech i hodně emisí.

Například GPT-3 údajně potřebovala k výcviku přibližně 1 287 MWh elektřiny, produkuje více než 50 liber CO2.

Novější modely, jako je GPT-4o, jsou ještě větší, ale společnost OpenAI nezveřejnila jejich přesné rozměry.

Kromě ChatGPT od OpenAI máte k dispozici asistenta AI od společnosti Meta, který pravděpodobně běží na modelech Llama 3.2 (parametry 11B nebo 90B).

Přesné údaje o emisích CO2 opět nejsou k dispozici.

Sonet Claude 3.5 společnosti Anthropic je mnohem těžší, jeho hmotnost se odhaduje na přibližně 400 miliard parametrů, aniž by byla zveřejněna jeho přesná uhlíková stopa.

A Gemini od Googlu? Poháněn variantami "Flash" a "Pro", ačkoli Google nezveřejnil přesné počty parametrů.

Přesto můžeme usuzovat, že jsou na stejné úrovni jako GPT-4o nebo jeho mini varianty.

A když už mluvíme o zjednodušených modelech, DeepSeek-V3 je zde s pouhými 37 miliardami aktivních parametrů (z celkových 671B). 

Její varianta R1 vykazuje vysoký výkon a zároveň čerpá energii jemněji na jeden žeton než GPT-4o. 

Jak si ChatGPT vede v porovnání s ostatními nástroji?

V tuto chvíli byste měli vědět, že spotřeba energie ChatGPT závisí na verzi, se kterou komunikujete, na délce výzev a na mechanice pod kapotou. 

V porovnání s větším množstvím nástrojů umělé inteligence je ChatGPT z hlediska energetické náročnosti přibližně průměrný, zejména u špičkových modelů. 

Ale pokud jde o samotný podíl na trhu a frekvenci používání, i "průměr" znamená obrovskou energetickou stopu v měřítku.

Spotřeba energie vs. vyhledávání Google

V roce 2009, Google odhaduje energetické náklady na jeden vyhledávací dotaz 0,3 Wh.

Když se posuneme do roku 2024, je tento odhad již prachmizerný.

Ukázalo se, že dnešní vyhledávání na Googlu ve skutečnosti spotřebovává asi 10x méně energie než tyto první odhady. 

Přitom dřívější odhady spotřeby energie pro průměrný požadavek LLM včetně ChatGPT byly také asi 10x vyšší (2,9 Wh).

S nejnovějším výzkumem, který klade důraz na spotřeba energie společnosti Google 0,04 Wh a ChatGPT na 0,3 Wh, tyto dvě chyby se navzájem vyruší, což znamená, že staré "LLM spotřebují asi 10x více energie na dotaz než Google Search" stále platí... ale jen proto, že se všichni mýlili správným způsobem. 

Co dělá OpenAI pro snížení dopadu?

Společnost OpenAI si je plně vědoma toho, že trénování a spouštění modelů, jako je ChatGPT, spotřebovává energii výrazně rychleji. 

To nás přivádí k otázce: co se s tím dělá?

Za prvé, OpenAI prosazuje zvýšení efektivity. 

Postupem času se novější modely, jako je GPT-4o a nyní i GPT-4o. GPT-4.1, byly speciálně optimalizovány pro výrazně nižší spotřebu energie při odvozování. 

Pokroky v architektuře modelů, zpracování tokenů a vylepšení hardwaru na úrovni serveru znamenají, že dnes je spotřeba energie na dotaz ChatGPT již mnohem nižší, než by byla pro stejnou úlohu ještě před rokem.

OpenAI také spolupracuje se službou Microsoft Azure a Společnost Azure se zavázala provozovat svá datová centra na 100% obnovitelné energie do roku 2025.. 

To je důležité, protože když zadáváte dotazy na ChatGPT, pingujete na superpočítače Azure, o kterých jsme mluvili dříve. 

Přechod od fosilních paliv k obnovitelným zdrojům energie sice přímo nesnižuje příkon dotazu, ale radikálně snižuje uhlíkovou stopu, která je s ním spojena.

Kromě infrastruktury se dějí i další věci, které se týkají budoucnosti. OpenAI aktivně zkoumá způsoby, jak zmenšit modely, aniž by to bylo na úkor výkonu.

Komprese modelů, destilace a inteligentnější směrování (například dynamické zpracování tokenů) jsou v kruzích zabývajících se efektivitou umělé inteligence velmi živá témata. 

Co můžete dělat jako uživatel?

Zatímco OpenAI zvládá velké strukturální změny, uživatelé stále hrají roli při minimalizaci odpadu a zodpovědném používání ChatGPT. 

Zde je návod, co můžete udělat:

• Buďte struční: Podněty formulujte jasně a pevně. Každý zpracovaný žeton navíc stojí trochu energie.
• Vyhněte se spamovým výzvám: Odolejte pokušení předložit 15 mírně přeformulovaných verzí téže otázky.
• Používejte vhodné modely: Pokud je to možné, vybírejte lehčí a levnější modely (např. GPT-4o-mini, pokud jsou v nabídce) pro příležitostné nebo nenáročné úkoly.
• Dávejte své požadavky do dávek: Místo několika roztříštěných otázek je sjednoťte do jediné promyšlené výzvy.

Pokud chcete omezit nekonečné opakované kopírování a generování, je rozumné používat specializované nástroje, které generují čistší obsah připravený k publikování již od prvních pokusů.

Zde je Nezjistitelná AI nástroje jako např. Stealth Writer nebo Parafráze přijít. 

Namísto toho, abyste se na ChatGPT dožadovali dokonalé verze svého textu prostřednictvím několika úprav a opakovaných pokusů (z nichž každý stojí více energie), můžete jednoduše použít naše specializované nástroje vytvořené pro přesnost. 

Nástroje určené pro konkrétní činnosti jsou obecně efektivnější a všechny naše nástroje do tohoto modelu chytrého a energeticky šetrného používání přesně zapadají. 

Jinými slovy, čistší výstup při menším počtu pokusů = méně spálené energie = spokojenější servery = zachraňujete svět, jeden ostrý odstavec po druhém.

Jste připraveni vidět rozdíl? Spusťte náš detektor umělé inteligence a humanizér ve widgetu níže!

Často kladené otázky: ChatGPT a spotřeba energie

Závěrečné myšlenky: Energetické náklady na umělou inteligenci

Závěrem lze říci, že množství energie spotřebované zařízením ChatGPT závisí do značné míry na tom, ke kterému modelu přistupujete a jak jej používáte. 

Celkově je však zřejmé, že novější modely jsou stále účinnější a že průmysl vyvíjí skutečné úsilí o snížení dopadu na životní prostředí.

Výběr správného nástroje pro správný úkol však může významně ovlivnit vaši digitální stopu. 

Chytřejší pracovní postupy, méně opakovaných pokusů a jasnější výzvy - to vše přispívá k nižší spotřebě energie. 

A když zkombinujete ChatGPT s účelovými nástroji, jako je Undetectable AI, získáte to nejlepší z obou světů.

Vytváříte čistý, vybroušený a k publikování připravený obsah s menším počtem pokusů a omylů. To znamená úsporu času, výpočetní techniky a ano, také trochu planety.

Pokud chcete pracovat chytřeji a ekologičtěji, přihlaste se k odběru nezjistitelné AI ještě dnes.