Cât de multă energie consumă ChatGPT?

Dacă veți căuta pe internet răspunsuri la întrebarea cât de multă energie consumă ChatGPT, veți găsi probabil ceva de genul acesta:

"ChatGPT utilizează de 10 ori mai multă energie electrică decât o căutare pe Google."

Dacă urmați traseul, această cerere duce la o Raport IEA de 170 de pagini, care trimite la o lucrare care citează o estimare probabilă a unui președinte Alphabet... bazată pe date din 2009. Yikes!

În realitate, cele mai noi operațiuni de căutare ale Google sunt de 10 ori mai eficiente decât în 2009, iar consumul real de energie al ChatGPT per cerere este mult mai mic decât sugerau primele semnale de alarmă.

Modelele mai noi, cum ar fi GPT-4o, au făcut progrese majore în ceea ce privește eficiența, ceea ce înseamnă că cifrele principale care circulă sunt depășite și, sincer, un pic înșelătoare.

Deci, care este imaginea reală? Este exact ceea ce vom analiza aici.

Ce veți reține va fi:

• Ce alimentează ChatGPT sub capotă?
• Câtă energie consumă o căutare ChatGPT?
• Câtă energie consumă comparativ cu Google Search și alte modele AI?
• Ce face OpenAI pentru a-și reduce impactul?
• Ce măsuri puteți lua în calitate de utilizator pentru ca utilizarea AI să fie mai responsabilă?

Să trecem la subiect.

Care sunt puterile ChatGPT?

Mark Russinovich, CTO al Microsoft Azure, ne-a oferit o privire în spatele cortinei într-un podcast că Microsoft publicat în 2023. 

Potrivit acestuia, Microsoft a construit o infrastructură capabilă să antreneze modele cu sute de miliarde de parametri. 

GPT-3, de exemplu, avea 175 de miliarde de parametri, ceea ce pare deja prea mult până când auziți că modelul Megatron-Turing al Microsoft avea 530 de miliarde.

În ceea ce privește hardware-ul, supercomputerul OpenAI 2020 original a reunit peste 285 000 de nuclee CPU conectate la AMD InfiniBand și 10 000 de GPU-uri NVIDIA V100 Tensor Core. 

Noua serie de mașini virtuale H100 grupează până la opt GPU NVIDIA H100 Tensor Core per mașină virtuală și poate ajunge la mii. 

Pe scurt, dacă vă întrebați ce alimentează ChatGPT, răspunsul este în esență: totul.

Toate nucleele, toate GPU-urile, toată lățimea de bandă a rețelei pe care ați putea-o acumula în visele voastre.

Estimarea consumului de energie al ChatGPT

Acum, la adevărata întrebare: câtă energie utilizează ChatGPT pentru fiecare întrebare? 

Te-ai putea aștepta să fie apocaliptic, ca și cum ar topi ghețarii cu fiecare prompt pe care îl tastezi. 

Dar, de fapt, estimările recente spun că interogarea tipică ChatGPT pe GPT-4o consumă aproximativ 0,3 watt-ore (Wh). 

Aceasta este de aproximativ zece ori mai puțin decât estimările mai vechi (și probabil inexacte) de la începutul anului 2023, care o estimau la 3 watt-ore. 

Saltul în eficiență se datorează unor modele mai bune, unui hardware mai performant și realizării faptului că estimările mai vechi erau mult prea pesimiste cu privire la numărul de jetoane.

La scară, 0,3 wați/oră reprezintă mai puțină energie decât cea consumată de laptop în timp ce vă reîncălziți cafeaua. 

Chiar dacă trimiteți interogări grele toată ziua, cantitatea de energie pe care ChatGPT o consumă pe zi este destul de mică în comparație cu, să zicem, funcționarea AC-ului sau a PC-ului de jocuri. Dar aceasta este doar utilizarea ta.

Baza de utilizatori a OpenAI a depășit 400 de milioane săptămânal în luna februarie, conform unui Purtătorul de cuvânt al OpenAI a declarat pentru Reuters. Așadar, ar fi o mulțime de wați-ore, chiar dacă sunteți eficient.

Este important să rețineți că această cifră de 0,3 wați-oră este încă puțin prudentă. 

Multe întrebări de zi cu zi sunt probabil mai ieftine decât atât.

Dar interogările care implică cantități masive de intrări, ieșiri extinse sau modele de raționament complexe pot crește consumul.

Utilizarea energiei: GPT-4 vs GPT-3.5

Chiar dacă GPT-3.5 a fost scos din uz, moștenirea sa încă persistă, mai ales atunci când discutăm despre câtă energie utilizează ChatGPT în toate versiunile.

Iată ce spun datele despre consumul său de energie în comparație cu GPT-4.

Pentru un model de tip GPT-3 cu aproximativ 175 de miliarde de parametri, emisiile erau deja intense, dar trecerea la un model de tip GPT-4 cu arhitectura sa mai grea ar putea crește emisiile de aproximativ 200 de ori. 

Potrivit lui George Hotz, GPT-4 reprezintă opt cazuri ale unui model GPT-3 de 220B-parametru cusute împreună. 

Dar, ceea ce este important, doar două dintre aceste modele sunt de fapt direcționate în timpul inferenței, ceea ce înseamnă că acțiunea reală are loc cu aproximativ 280B parametri efectivi, odată ce luați în considerare partajarea unor parametri (~55B pentru mecanismele de atenție).

Comparați acest lucru cu configurația 175B a GPT-3.5 și începeți să înțelegeți de ce costurile de inferență ale GPT-4 sunt de până la trei ori mai mari. 

Creșterea consumului de energie depășește simpla creștere a numărului de parametri, care ar fi trebuit să sugereze doar o creștere de 1,6 ori. 

Dar nu asta s-a întâmplat, deoarece interogatoriile GPT-4 sunt pur și simplu mult mai scumpe. 

Amprenta de carbon a modelelor AI

Rularea modelelor mari de inteligență artificială nu este ieftină, nici pentru planetă, nici pentru factura de energie.

Aceste modele necesită putere de calcul mare, ceea ce înseamnă multă energie electrică și, în multe cazuri, multe emisii.

De exemplu, GPT-3 ar fi avut nevoie de aproximativ 1 287 MWh de energie electrică pentru a se antrena, producerea a peste 50 de kilograme de CO2.

Modelele mai noi, cum ar fi GPT-4o, sunt chiar mai mari, dar OpenAI nu a publicat amprenta lor exactă.

Dincolo de ChatGPT de la OpenAI, avem asistentul AI de la Meta, care rulează probabil pe modele Llama 3.2 (parametri 11B sau 90B).

Din nou, cifrele exacte ale emisiilor de CO2 nu sunt disponibile.

Anthropic's Claude 3.5 Sonnet cântărește mult mai mult, estimat la aproximativ 400 de miliarde de parametri, fără a dezvălui amprenta sa exactă de carbon.

Și Gemini de la Google? Propulsat de variantele "Flash" și "Pro", deși Google nu a dezvăluit numărul exact al parametrilor.

Putem totuși să deducem că se află în aceeași gamă ca GPT-4o sau variantele sale mini.

Și vorbind de modele simplificate, DeepSeek-V3 este aici cu doar 37 de miliarde de parametri activi (din totalul de 671B). 

Varianta sa de raționament R1 arată o performanță puternică, în timp ce consumă energie mai delicat per jeton decât GPT-4o. 

Cum se compară ChatGPT cu alte instrumente?

În acest moment, ar trebui să știți că cantitatea de energie utilizată de ChatGPT depinde de versiunea cu care interacționați, de durata solicitărilor și de mecanica de sub capotă. 

În comparație cu universul mai larg al instrumentelor AI, ChatGPT este în medie în ceea ce privește consumul de energie, în special pentru modelele high-end. 

Dar când vine vorba de cota de piață și frecvența de utilizare, chiar și "mediu" se traduce printr-o amprentă energetică masivă la scară largă.

Utilizarea energiei vs Google Search

Înapoi în 2009, Google a estimat costul energetic al unei singure interogări de căutare să fie de 0,3 Wh.

Până în 2024, această estimare s-a prăfuit.

Se pare că, în prezent, căutările Google folosesc de fapt de 10 ori mai puțină energie decât acele estimări inițiale. 

Între timp, estimările anterioare privind energia pentru o solicitare LLM medie, inclusiv ChatGPT, au fost, de asemenea, de aproximativ 10 ori prea mari (2,9 Wh).

Cu cele mai recente cercetări care pun consumul de energie al Google la 0,04 Wh și ChatGPT la 0,3 Wh, aceste două greșeli se anulează reciproc, ceea ce înseamnă că vechiul "LLM utilizează aproximativ 10x mai multă energie pe interogare decât Google Search" încă mai deține... dar numai pentru că toată lumea a fost greșit în modul potrivit. 

Ce face OpenAI pentru a reduce impactul?

OpenAI este pe deplin conștient de faptul că instruirea și rularea modelelor precum ChatGPT consumă energie într-un ritm semnificativ mai rapid. 

Ceea ce ne aduce la întrebarea: ce se face în această privință?

În primul rând, OpenAI a promovat îmbunătățiri ale eficienței. 

De-a lungul timpului, modele mai noi, cum ar fi GPT-4o, și acum GPT-4.1au fost optimizate special pentru a reduce semnificativ consumul de energie în timpul inferenței. 

Progresele în arhitectura modelelor, gestionarea simbolurilor și îmbunătățirile hardware la nivel de server înseamnă că astăzi, cantitatea de energie utilizată de o interogare ChatGPT este deja mult mai mică decât ar fi fost în urmă cu un an pentru aceeași sarcină.

De asemenea, OpenAI colaborează cu Microsoft Azure și Azure s-a angajat să își exploateze centrele de date pe 100% energie regenerabilă până în 2025. 

Acest lucru este important, deoarece atunci când trimiteți interogări la ChatGPT, trimiteți ping supercomputere Azure despre care am vorbit mai devreme. 

Schimbarea sursei de energie de la combustibilii fosili la surse regenerabile nu reduce în mod direct puterea pe care o utilizează o interogare, dar reduce radical amprenta de carbon aferentă acesteia.

Dincolo de infrastructură, se întâmplă și alte lucruri legate de viitor. OpenAI cercetează în mod activ modalități de a face modelele mai mici fără a sacrifica performanța.

Comprimarea modelelor, distilarea și rutarea mai inteligentă (cum ar fi procesarea dinamică a jetoanelor) sunt subiecte foarte actuale în cercurile de eficiență a IA. 

Ce puteți face în calitate de utilizator?

În timp ce OpenAI se ocupă de marile schimbări structurale, utilizatorii au încă un rol de jucat în minimizarea deșeurilor și utilizarea ChatGPT în mod responsabil. 

Iată ce puteți face:

• Fiți concis: Încadrează-ți solicitările clar și strâns. Fiecare jeton suplimentar procesat costă un pic de energie.
• Evitați mesajele de tip spam: Rezistați tentației de a trimite 15 versiuni ușor reformulate ale aceleiași întrebări.
• Utilizați modele adecvate: Atunci când este posibil, alegeți modele mai ușoare și mai ieftine (cum ar fi GPT-4o-mini, dacă este oferit) pentru sarcini ocazionale sau ușoare.
• Colectați cererile: În loc de o grămadă de întrebări fragmentate, consolidați-le într-o singură solicitare, bine gândită.

Dacă doriți să reduceți numărul nesfârșit de re-prompări și re-generări, este inteligent să folosiți instrumente dedicate care generează conținut mai curat, gata de publicare din primele încercări.

Acesta este locul unde AI nedetectabil instrumente precum Scriitor pe furiș sau Parafrazator intră. 

În loc să cereți ChatGPT acea versiune perfectă a textului dvs. prin mai multe editări și încercări (fiecare costând mai multă energie), puteți folosi pur și simplu instrumentele noastre specializate construite pentru precizie. 

Instrumentele concepute pentru acțiuni specifice sunt, în general, mai eficiente, iar toate instrumentele noastre se încadrează perfect în acest model de utilizare inteligentă și conștientă a energiei. 

Cu alte cuvinte, rezultate mai curate în mai puține încercări = mai puțină energie consumată = servere mai fericite = salvați lumea, câte un paragraf crocant pe rând.

Sunteți gata să vedeți diferența? Lansați AI Detector și Humanizer în widgetul de mai jos!

Întrebări frecvente: ChatGPT și consumul de energie

Gânduri finale: Costul energetic al inteligenței artificiale

În concluzie, cantitatea de energie utilizată de ChatGPT depinde în mare măsură de modelul pe care îl accesați și de modul în care îl utilizați. 

Dar, în general, este clar că noile modele devin mai eficiente, iar industria face eforturi reale pentru a reduce impactul asupra mediului.

Acestea fiind spuse, alegerea instrumentului potrivit pentru sarcina potrivită poate face o diferență semnificativă în amprenta dvs. digitală. 

Fluxurile de lucru mai inteligente, mai puține reintrări și indicații mai clare contribuie la reducerea consumului de energie. 

Iar atunci când combinați ChatGPT cu instrumente special concepute, precum AI nedetectabil, obțineți ce e mai bun din ambele lumi.

Generați conținut curat, rafinat și gata de publicare cu mai puține încercări și erori. Asta înseamnă economie de timp, de calcul și, da, și de un pic de planetă.

Dacă doriți să lucrați mai inteligent și mai ecologic, înscrieți-vă astăzi la Undetectable AI.