Mennyi energiát használ a ChatGPT?

Ha az interneten keresgélsz arra a kérdésre, hogy mennyi energiát használ a ChatGPT, valószínűleg valami ilyesmit találsz:

"A ChatGPT 10-szer több áramot használ, mint a Google keresés."

Ha követjük a nyomokat, ez az állítás egy 170 oldalas IEA-jelentés, amely egy cikkre hivatkozik, amely az Alphabet egyik elnökének valószínű becslését idézi... 2009-es adatok alapján. Jujj!

A valóságban a Google újabb keresési műveletei körülbelül tízszer hatékonyabbak, mint 2009-ben, és a ChatGPT tényleges energiafelhasználása kérésenként ma sokkal alacsonyabb, mint azt a korai riasztócsengők sugallták.

Az újabb modellek, mint például a GPT-4o, jelentős előrelépéseket tettek a hatékonyság terén, ami azt jelenti, hogy a címben szereplő számok elavultak, és őszintén szólva kissé félrevezetőek.

Szóval, mi a valós kép? Pontosan ez az, amibe itt most belemerülünk.

A következő lesz a tanulság:

• Mi hajtja a ChatGPT-t a motorháztető alatt?
• Mennyi energiát fogyaszt egy ChatGPT keresés?
• Mennyi energiát fogyaszt a Google Search és más AI modellekhez képest?
• Mit tesz az OpenAI a hatásainak csökkentése érdekében?
• Milyen lépéseket tehetsz felhasználóként, hogy felelősségteljesebbé tedd a mesterséges intelligencia használatát?

Lássunk hozzá.

Mi a ChatGPT hatalma?

Mark Russinovich, a Microsoft Azure technológiai igazgatója bepillantást engedett a függöny mögé. egy podcastban hogy A Microsoft 2023-ban jelentette meg. 

Elmondása szerint a Microsoft olyan infrastruktúrát épített ki, amely több százmilliárd paramétert tartalmazó modellek képzésére képes. 

A GPT-3 például 175 milliárd paraméterrel rendelkezett, ami már túl soknak hangzik, amíg meg nem halljuk, hogy a Microsoft Megatron-Turing modellje 530 milliárddal flexelt.

Hardveresen az eredeti 2020-as OpenAI szuperszámítógép több mint 285 000 AMD InfiniBand-csatlakozású CPU-magot és 10 000 NVIDIA V100 Tensor Core GPU-t egyesített. 

Az új H100 virtuális gépsorozat VM-enként akár nyolc NVIDIA H100 Tensor Core GPU-t is fürtöz, és több ezerre skálázható. 

Röviden, ha azon tűnődsz, hogy mi hajtja a ChatGPT-t, a válasz alapvetően az, hogy minden.

Az összes mag, az összes GPU, az összes hálózati sávszélesség, amit csak álmaidban is felhalmozhatsz.

A ChatGPT becsült energiafelhasználása

Most pedig az igazi kérdés: mennyi energiát használ a ChatGPT kérdésenként? 

Azt várhatnád, hogy apokaliptikus lesz, mintha gleccsereket olvasztana el minden egyes beírással. 

A legújabb becslések szerint azonban egy tipikus ChatGPT lekérdezés a GPT-4o rendszerben körülbelül 0,3 wattórát (Wh) fogyaszt. 

Ez körülbelül tízszer kevesebb, mint a régebbi (és valószínűleg pontatlan), 2023 eleji becslések, amelyek 3 wattórára becsülték. 

A hatékonyság ugrásszerű növekedése a jobb modelleknek, az élesebb hardvereknek és annak a felismerésnek köszönhető, hogy a régebbi becslések túl pesszimisták voltak a tokenek számát illetően.

Mértékként 0,3 wattóra kevesebb energiát jelent, mint amennyit a laptopod fogyaszt, miközben újra melegíted a kávét. 

Még akkor is, ha egész nap nehéz lekérdezéseket indítasz, a mennyi energiát használ a ChatGPT naponta, még mindig elég szelíd számok, mondjuk, a légkondicionáló vagy a játék PC működtetéséhez képest. De ez csak az Ön felhasználása.

Az OpenAI felhasználói bázisa februárban több mint 400 millió volt hetente, ami alapján az egyik Az OpenAI szóvivője a Reutersnek elmondta. Tehát ez még akkor is sok wattóra lenne, ha hatékony lennél.

Fontos megjegyezni, hogy ez a 0,3 wattórás adat még mindig egy kicsit óvatos. 

Sok mindennapi lekérdezés valószínűleg olcsóbb ennél.

A nagy mennyiségű inputot, kiterjedt kimeneteket vagy nehéz következtetési modelleket tartalmazó lekérdezések azonban még így is jóval magasabb fogyasztást eredményezhetnek.

Energiafelhasználás: GPT-4 vs. GPT-3.5

Bár a GPT-3.5 már leállt, öröksége még mindig él, különösen, ha arról beszélünk, hogy a ChatGPT mennyi energiát használ a különböző verziókban.

Az adatok a GPT-4-hez képest az energiafelhasználásról szólnak.

Egy GPT-3 stílusú, körülbelül 175 milliárd paramétert tartalmazó modell esetében a kibocsátás már így is intenzív volt, de a GPT-4 stílusú, nehezebb felépítésű modellre való áttérés a kibocsátást körülbelül 200-szorosára növelheti. 

George Hotz szerint, a GPT-4 egy 220B paraméterű GPT-3-szerű modell nyolc példánya összefűzve. 

De ami fontos, hogy ezek közül a modellek közül csak kettőt irányítunk a következtetés során, ami azt jelenti, hogy a valódi cselekvés körülbelül 280B effektív paraméterrel történik, ha figyelembe vesszük a paraméterek megosztását (~55B a figyelemmechanizmusok esetében).

Hasonlítsuk ezt össze a GPT-3.5 175B-s beállításával, és kezdjük megérteni, hogy a GPT-4 következtetési költségei miért akár háromszor magasabbak. 

Az energiafelhasználás növekedése meghaladja a paraméterek számának puszta növekedését, amely csak 1,6-szoros növekedést jelezne. 

De nem ez történt, mert a GPT-4 lekérdezései egyszerűen sokkal drágábbak. 

A mesterséges intelligencia modellek szénlábnyoma

A nagyméretű mesterséges intelligencia modellek futtatása nem olcsó, sem a bolygó, sem az áramszámla szempontjából.

Ezek a modellek komoly számítási kapacitást igényelnek, ami sok áramot és sok esetben sok károsanyag-kibocsátást jelent.

A GPT-3 például a jelentések szerint mintegy 1287 MWh villamos energiát igényelt a képzéshez, több mint 50 font CO2 kibocsátása.

Az újabb modellek, például a GPT-4o még nagyobbak, de az OpenAI nem adta ki a pontos méretüket.

Az OpenAI ChatGPT-n túl ott van a Meta AI asszisztense, amely valószínűleg Llama 3.2 modelleken fut (11B vagy 90B paraméterekkel).

A CO2-kibocsátásra vonatkozó pontos adatok ismét nem állnak rendelkezésre.

Az Anthropic Claude 3.5 Sonnet sokkal nehezebb, körülbelül 400 milliárd paraméterre becsülhető, a pontos szénlábnyomának közzététele nélkül.

És a Google Gemini? A "Flash" és a "Pro" változatok hajtják, bár a Google nem árulta el a pontos paraméterszámokat.

Még mindig következtethetünk arra, hogy a GPT-4o vagy annak miniváltozataihoz hasonlóak.

És ha már az egyszerűsített modellekről beszélünk, a DeepSeek-V3 itt van kint, és mindössze 37 milliárd aktív paraméterrel (az összesen 671B-ből) dolgozik. 

Az R1 érvelési változata erős teljesítményt mutat, miközben a GPT-4o-nál finomabban szippantja az energiát tokenenként. 

Hogyan hasonlítja össze a ChatGPT-t más eszközökkel?

Ezen a ponton tudnod kell, hogy a ChatGPT energiafelhasználása függ attól, hogy milyen verzióval lépsz kapcsolatba, milyen hosszúak a kérések, és milyen mechanikát használ a motorháztető alatt. 

Az AI-eszközök szélesebb univerzumához képest a ChatGPT energiaigénye átlagos, különösen a csúcskategóriás modellek esetében. 

De ha a puszta piaci részesedésről és a használat gyakoriságáról van szó, akkor még az "átlagos" is hatalmas energia-lábnyomot jelent.

Energiafelhasználás vs Google Search

2009-ben, A Google becslése szerint egy keresési lekérdezés energiaköltsége 0,3 Wh.

Tekerjünk előre 2024-ig, és ez a becslés már porosodott.

Kiderült, hogy a mai Google-keresések valójában 10x kevesebb energiát használnak, mint a korai becslések. 

Eközben egy átlagos LLM-kérelemre vonatkozó korábbi becslések, beleértve a ChatGPT-t is, körülbelül 10x túl magasak voltak (2,9 Wh).

A legújabb kutatásokkal, amelyek a a Google energiafogyasztása 0,04 Wh és a ChatGPT 0,3 Wh-nál, ez a két hiba kioltja egymást, ami azt jelenti, hogy a régi "az LLM-ek lekérdezésenként kb. 10x több energiát használnak, mint a Google Search" még mindig érvényes... de csak azért, mert mindenki a megfelelő módon tévedett. 

Mit tesz az OpenAI a hatások csökkentése érdekében?

Az OpenAI teljes mértékben tisztában van azzal, hogy a ChatGPT-hez hasonló modellek képzése és futtatása jelentősen gyorsabban fogyasztja az energiát. 

És ezzel el is érkeztünk a kérdéshez: mit tesznek ez ellen?

Először is, az OpenAI hatékonysági fejlesztéseket hajtott végre. 

Idővel az újabb modellek, mint a GPT-4o, és most már GPT-4.1, kifejezetten a következtetés során jelentősen alacsonyabb energiafogyasztásra optimalizálták. 

A modellarchitektúra, a tokenkezelés és a szerverszintű hardverfejlesztések fejlődése azt jelenti, hogy ma már jóval kevesebb energiát fogyaszt egy ChatGPT-lekérdezés, mint egy évvel ezelőtt ugyanerre a feladatra.

Az OpenAI a Microsoft Azure-ral is együttműködik, és Az Azure vállalta, hogy 2025-ig 100% megújuló energiával működteti adatközpontjait.. 

Ez azért fontos, mert amikor lekérdezéseket küld a ChatGPT-nek, akkor az Azure szuperszámítógépeket pingeli, amelyekről korábban beszéltünk. 

Az energiaforrásnak a fosszilis tüzelőanyagokról a megújuló energiaforrásokra való átállítása nem csökkenti közvetlenül a villanyóra teljesítményét, de radikálisan csökkenti a hozzá kapcsolódó szén-dioxid-kibocsátást.

Az infrastruktúrán túlmenően a jövőre vonatkozó dolgok is történnek. Az OpenAI aktívan kutatja, hogyan lehet a modelleket kisebbé tenni a teljesítmény feláldozása nélkül.

A modelltömörítés, a desztilláció és az okosabb útválasztás (például a dinamikus tokenfeldolgozás) mind nagyon élő témák a mesterséges intelligencia hatékonysági körökben. 

Mit tehetsz felhasználóként?

Miközben az OpenAI kezeli a nagy strukturális változásokat, a felhasználóknak továbbra is szerepük van a hulladék minimalizálásában és a ChatGPT felelősségteljes használatában. 

A következőt teheti:

• Legyen tömör: Keretezze a kéréseket világosan és szorosan. Minden további feldolgozott jelkép egy kis energiába kerül.
• Kerülje a spammelő kéréseket: Ellenálljon a kísértésnek, hogy ugyanannak a kérdésnek 15 kissé átfogalmazott változatát nyújtsa be.
• Használjon megfelelő modelleket: Ha lehetséges, válasszon könnyebb, olcsóbb modelleket (például GPT-4o-mini, ha van ilyen) alkalmi vagy könnyű feladatokhoz.
• Csoportosítsa a kéréseket: Egy csomó töredezett kérdés helyett foglalja össze őket egyetlen, jól átgondolt kérdőívbe.

Ha le akarja csökkenteni a végtelen újratöltések és újragenerálások számát, akkor érdemes olyan speciális eszközöket használni, amelyek már az első néhány próbálkozástól kezdve tisztább, publikálásra kész tartalmat generálnak.

Ez az a hely, ahol Kimutathatatlan AI olyan eszközök, mint a Stealth Writer vagy Parafrázisa jöjjön be. 

Ahelyett, hogy többszöri szerkesztés és újbóli próbálkozás révén (amelyek mindegyike több energiába kerül) kérné a ChatGPT-t, hogy tökéletes változatot készítsen a szövegéből, egyszerűen használhatja a precizitásra épített speciális eszközeinket. 

A speciális műveletekre tervezett eszközök általában hatékonyabban működnek, és minden eszközünk pontosan beleillik az intelligens, energiatudatos használat modelljébe. 

Más szóval, tisztább kimenet kevesebb próbálkozással = kevesebb energiaégetés = boldogabb szerverek = Ön megmenti a világot, egy-egy ropogós bekezdéssel.

Készen áll, hogy meglássa a különbséget? Indítsa el az AI Detector és Humanizer programunkat az alábbi widgetben!

GYIK: ChatGPT és energiafelhasználás

Végső gondolatok: A mesterséges intelligencia energiaköltsége

Összefoglalva, az, hogy mennyi energiát használ a ChatGPT, nagyban függ attól, hogy melyik modellhez fér hozzá, és hogyan használja. 

Összességében azonban egyértelmű, hogy az újabb modellek egyre hatékonyabbak, és az iparág valódi erőfeszítéseket tesz a környezeti hatások csökkentése érdekében.

Ennek ellenére a megfelelő eszköz kiválasztása a megfelelő feladathoz jelentős különbséget jelenthet az Ön digitális lábnyomában. 

Az intelligensebb munkafolyamatok, a kevesebb újbóli próbálkozás és a világosabb felszólítások mind-mind alacsonyabb energiafelhasználást eredményeznek. 

Ha pedig a ChatGPT-t olyan célzott eszközökkel kombinálja, mint az Undetectable AI, akkor mindkét világból a legjobbat kapja.

Tiszta, csiszolt és publikálásra kész tartalmakat hozhat létre kevesebb próbálkozással és hibával. Ez azt jelenti, hogy időt, számítógépet és igen, egy kicsit a bolygót is megspórolja.

Ha okosabban és zöldebben szeretne dolgozni, iratkozzon fel az Undetectable AI-ra még ma.