Kuinka paljon energiaa ChatGPT käyttää?

Jos etsit internetistä vastauksia siihen, kuinka paljon energiaa ChatGPT käyttää, löydät luultavasti jotakin tämän kaltaista:

"ChatGPT käyttää 10 kertaa enemmän sähköä kuin Google-haku."

Jos seuraat polkua, tämä väite johtaa - IEA:n 170-sivuinen raportti, jossa viitataan asiakirjaan, jossa lainataan Alphabetin puheenjohtajan todennäköistä arviota... joka perustuu vuoden 2009 tietoihin. Yikes!

Todellisuudessa Googlen uudemmat hakutoiminnot ovat noin 10 kertaa tehokkaampia kuin vuonna 2009, ja ChatGPT:n todellinen energiankulutus pyyntöä kohti on nykyään paljon pienempi kuin ensimmäiset hälytyskellot antoivat ymmärtää.

Uudemmat mallit, kuten GPT-4o, ovat edistyneet merkittävästi tehokkuudessa, joten julkisuudessa liikkuvat luvut ovat vanhentuneita ja rehellisesti sanottuna hieman harhaanjohtavia.

Mikä on todellinen kuva? Juuri siihen sukellamme tässä.

Otat seuraavista asioista selvää:

• Mikä antaa ChatGPT:lle tehoa konepellin alla?
• Kuinka paljon energiaa yksi ChatGPT-haku kuluttaa?
• Kuinka paljon energiaa se kuluttaa verrattuna Google Searchiin ja muihin tekoälymalleihin?
• Mitä OpenAI tekee vähentääkseen vaikutuksiaan?
• Mihin toimiin voit käyttäjänä ryhtyä, jotta tekoälyn käyttösi olisi vastuullisempaa?

Mennään asiaan.

Mikä on ChatGPT:n teho?

Mark Russinovich, Microsoft Azuren teknologiajohtaja, antoi meille kurkistuksen verhon taakse. podcastissa että Microsoft julkaisi vuonna 2023. 

Hänen mukaansa Microsoft rakensi infrastruktuurin, joka pystyy kouluttamaan malleja, joissa on satoja miljardeja parametreja. 

Esimerkiksi GPT-3:ssa oli 175 miljardia parametria, mikä kuulostaa jo liian suurelta määrältä, kunnes kuulee, että Microsoftin Megatron-Turing-mallissa oli 530 miljardia parametria.

Laitteistoltaan alkuperäinen 2020 OpenAI:n supertietokone yhdisti yli 285 000 AMD InfiniBand -yhteydellä varustettua prosessoriydintä ja 10 000 NVIDIA V100 Tensor Core -näytönohjainta. 

Uusi H100-virtuaalikonesarja klusteroi jopa kahdeksan NVIDIA H100 Tensor Core -näytönohjainta VM:ää kohden ja skaalautuu tuhansiksi. 

Lyhyesti sanottuna, jos mietit, mikä ChatGPT:n voimanlähde on, vastaus on periaatteessa: kaikki se.

Kaikki ytimet, kaikki näytönohjaimet, kaikki verkon kaistanleveys, jota voit koskaan haaveillessasi hamstrata.

ChatGPT:n arvioitu energiankäyttö

Nyt varsinaiseen kysymykseen: kuinka paljon energiaa ChatGPT käyttää kysymystä kohden? 

Voisit odottaa sen olevan maailmanlopun kaltainen, kuin se sulattaisi jäätiköitä jokaisella kirjoittamallasi komennolla. 

Viimeisimpien arvioiden mukaan tyypillinen ChatGPT-kysely GPT-4o:lla kuluttaa noin 0,3 wattituntia (Wh). 

Se on noin kymmenen kertaa vähemmän kuin vanhemmat (ja todennäköisesti epätarkat) arviot vuoden 2023 alusta, joiden mukaan se olisi 3 wattituntia. 

Tehokkuuden harppaus johtuu paremmista malleista, terävämmästä laitteistosta ja siitä, että aiemmat arviot olivat aivan liian pessimistisiä merkkien lukumäärän suhteen.

Mittakaavassa 0,3 wattituntia on vähemmän energiaa kuin mitä kannettava tietokoneesi kuluttaa kahvia lämmittäessäsi. 

Vaikka tekisit raskaita kyselyitä koko päivän, ChatGPT:n energiankulutus päivässä on silti melko pieni verrattuna esimerkiksi ilmastointilaitteen tai pelitietokoneen käyttämiseen. Mutta se on vain sinun käyttösi.

OpenAI:n käyttäjäkunta oli helmikuussa yli 400 miljoonaa viikoittain, kun otetaan huomioon, mitä eräs OpenAI:n tiedottaja kertoi Reutersille. Se olisi siis paljon wattitunteja, vaikka olisitkin tehokas.

On tärkeää huomata, että tämä 0,3 wattitunnin luku on vielä hieman varovainen. 

Monet jokapäiväiset kyselyt ovat luultavasti halvempia.

Mutta kyselyt, joihin liittyy valtavia määriä syötteitä, laajoja tuotoksia tai raskaita päättelymalleja, voivat silti nostaa kulutusta huomattavasti.

Energian käyttö: GPT-4 vs. GPT-3.5

Vaikka GPT-3.5 on jo poistunut käytöstä, sen perintö on yhä jäljellä, varsinkin kun keskustelemme siitä, kuinka paljon energiaa ChatGPT käyttää eri versioissa.

Seuraavassa on tietoja sen energiankulutuksesta verrattuna GPT-4:ään.

GPT-3-tyylisen mallin, jossa on noin 175 miljardia parametria, päästöt olivat jo voimakkaita, mutta siirtyminen GPT-4-tyyliseen malliin, jossa on raskaampi arkkitehtuuri, voisi nostaa päästöt noin 200-kertaisiksi. 

George Hotzin mukaanGPT-4 on kahdeksan yhteen liitettyä 220B-parametrin GPT-3:n kaltaista mallia. 

Tärkeää on kuitenkin se, että vain kaksi näistä malleista todella ohjautuu päättelyn aikana, mikä tarkoittaa, että todellinen toiminta tapahtuu noin 280B tehokkaalla parametrilla, kun otetaan huomioon parametrien jakaminen (~55B huomiomekanismeille).

Vertaa tätä GPT-3.5:n 175B:n kokoonpanoon, niin alat ymmärtää, miksi GPT-4:n päättelykustannukset ovat jopa kolme kertaa suuremmat. 

Energiankäytön kasvu ylittää pelkän parametrien lukumäärän kasvun, jonka olisi pitänyt olla vain 1,6-kertainen. 

Näin ei kuitenkaan käynyt, koska GPT-4:n kyselyt ovat yksinkertaisesti paljon kalliimpia. 

Tekoälymallien hiilijalanjälki

Suurten tekoälymallien käyttäminen ei ole halpaa, ei planeetan eikä sähkölaskun kannalta.

Nämä mallit vaativat paljon laskentatehoa, mikä tarkoittaa paljon sähköä ja monissa tapauksissa paljon päästöjä.

Esimerkiksi GPT-3:n on kerrottu tarvinneen noin 1 287 MWh sähköä harjoitteluun, tuottaa yli 50 kiloa hiilidioksidia.

Uudemmat mallit, kuten GPT-4o, ovat vielä suurempia, mutta OpenAI ei ole julkaissut niiden tarkkaa tilantarvetta.

OpenAI:n ChatGPT:n lisäksi sinulla on Metan tekoälyavustaja, joka todennäköisesti toimii Llama 3.2 -malleilla (joko 11B- tai 90B-parametrit).

Täsmällisiä lukuja CO2-päästöistä ei ole saatavilla.

Anthropicin Claude 3.5 Sonnet painaa paljon enemmän, arviolta noin 400 miljardia parametria, eikä sen tarkkaa hiilijalanjälkeä ole ilmoitettu.

Entä Googlen Gemini? Powered by "Flash" ja "Pro" -vaihtoehdot, vaikka Google ei ole paljastanut tarkkoja parametrilukuja.

Voimme silti päätellä, että ne ovat samaa luokkaa kuin GPT-4o tai sen minivaihtoehdot.

Ja virtaviivaistetuista malleista puheen ollen, DeepSeek-V3 on täällä joustamassa vain 37 miljardilla aktiivisella parametrilla (671B:n kokonaismäärästä). 

Sen R1-järjetelmävariantti osoittaa vahvaa suorituskykyä ja kuluttaa energiaa herkemmin merkkiä kohden kuin GPT-4o. 

Miten ChatGPT vertaa muihin työkaluihin?

Tässä vaiheessa sinun pitäisi tietää, että ChatGPT:n energiankulutus riippuu versiosta, jonka kanssa olet vuorovaikutuksessa, kehotusten pituudesta ja konepellin alla olevasta mekaniikasta. 

Verrattuna tekoälytyökalujen laajempaan kokonaisuuteen ChatGPT:n energiantarve on suunnilleen keskitasoa, erityisesti huippumallien osalta. 

Mutta kun on kyse pelkästä markkinaosuudesta ja käyttötiheydestä, jopa "keskiverto" merkitsee valtavaa energiajalanjälkeä mittakaavassa.

Energiankäyttö vs Google-haku

Vuonna 2009, Google arvioi yhden hakukyselyn energiakustannus on 0,3 Wh.

Siirry eteenpäin vuoteen 2024, ja tuo arvio on jo pölyttynyt.

On käynyt ilmi, että nykyiset Google-haut käyttävät itse asiassa noin 10 kertaa vähemmän energiaa kuin nuo varhaiset arviot. 

Aiemmat energia-arviot keskimääräiselle LLM-pyynnölle, ChatGPT mukaan lukien, olivat myös noin 10 kertaa liian korkeat (2,9 Wh).

Viimeisimmän tutkimuksen, joka asettaa Googlen energiankulutus 0,04 Wh ja ChatGPT 0.3 Wh:ssa, nämä kaksi virhettä kumoavat toisensa, mikä tarkoittaa, että vanha "LLM käyttää noin 10x enemmän energiaa per kysely kuin Google Search" pitää edelleen paikkansa... mutta vain siksi, että kaikki olivat väärässä juuri oikealla tavalla. 

Mitä OpenAI tekee vaikutusten vähentämiseksi?

OpenAI on täysin tietoinen siitä, että ChatGPT:n kaltaisten mallien kouluttaminen ja käyttäminen kuluttaa energiaa huomattavasti nopeammin. 

Tästä pääsemmekin kysymykseen: mitä asialle tehdään?

Ensinnäkin OpenAI on ajanut tehokkuusparannuksia. 

Ajan myötä uudemmat mallit, kuten GPT-4o, ja nyt myös GPT-4.1, on optimoitu erityisesti niin, että ne kuluttavat huomattavasti vähemmän energiaa päätelmien tekemisen aikana. 

Malliarkkitehtuurin, merkkien käsittelyn ja palvelintason laitteiston parannusten ansiosta ChatGPT-kyselyn energiankulutus on nykyään jo paljon alhaisempi kuin vielä vuosi sitten samaan tehtävään.

OpenAI on myös kumppani Microsoft Azuren kanssa, ja Azure on sitoutunut käyttämään datakeskuksissaan 100% uusiutuvaa energiaa vuoteen 2025 mennessä.. 

Tämä on tärkeää, koska kun heität kyselyjä ChatGPT:hen, pingaat Azuren supertietokoneita, joista puhuimme aiemmin. 

Energialähteen siirtäminen pois fossiilisista polttoaineista uusiutuviin energialähteisiin ei suoraan pienennä kyselytutkimuksen käyttämää wattimäärää, mutta se pienentää radikaalisti siihen liittyvää hiilijalanjälkeä.

Infrastruktuurin lisäksi on myös muita tulevaisuuteen suuntautuvia asioita. OpenAI tutkii aktiivisesti tapoja tehdä malleista pienempiä suorituskyvyn kärsimättä.

Mallien pakkaaminen, tislaus ja älykkäämpi reititys (kuten dynaaminen merkkien käsittely) ovat kaikki hyvin ajankohtaisia aiheita tekoälyn tehokkuuspiireissä. 

Mitä voit tehdä käyttäjänä?

Vaikka OpenAI huolehtii suurista rakenteellisista muutoksista, käyttäjillä on edelleen oma roolinsa jätteiden minimoimisessa ja ChatGPT:n vastuullisessa käytössä. 

Voit tehdä näin:

• Ole ytimekäs: Muotoile kehotukset selkeästi ja tiukasti. Jokainen käsitelty ylimääräinen merkki maksaa hieman energiaa.
• Vältä roskapostituskehotuksia: Vastustakaa kiusausta lähettää 15 hieman uudelleen muotoiltua versiota samasta kysymyksestä.
• Käytä sopivia malleja: Valitse mahdollisuuksien mukaan kevyempiä, halvempia malleja (kuten GPT-4o-mini, jos tarjolla) satunnaisiin tai kevyisiin tehtäviin.
• Erittele pyynnöt: Pirstaleisten kysymysten sijasta voit koota ne yhdeksi hyvin harkituksi kehotukseksi.

Jos haluat vähentää loputtomia uudelleenpromppaus- ja uudelleensyntymisprosesseja, kannattaa käyttää erityisiä työkaluja, jotka tuottavat puhtaampaa, julkaisukelpoista sisältöä heti ensimmäisillä yrityksillä.

Tässä kohtaa Havaitsematon tekoäly työkalut kuten Stealth Writer tai Paraphraser tule sisään. 

Sen sijaan, että pyytäisit ChatGPT:ltä täydellistä versiota tekstistäsi useiden muokkausten ja uusintayritysten avulla (joista jokainen maksaa enemmän energiaa), voit yksinkertaisesti käyttää erikoistuneita työkalujamme, jotka on rakennettu tarkkuutta varten. 

Tiettyihin toimintoihin suunnitellut työkalut toimivat yleensä tehokkaammin, ja kaikki työkalumme sopivat juuri tähän älykkään ja energiatietoisen käytön malliin. 

Toisin sanoen, puhtaampi tuotos vähemmillä yrityksillä = vähemmän kulutettua energiaa = onnellisemmat palvelimet = pelastat maailman, yksi rapea kappale kerrallaan.

Oletko valmis näkemään eron? Käynnistä AI Detector ja Humanizer alla olevassa widgetissä!

Usein kysytyt kysymykset: ChatGPT ja energiankäyttö

Lopulliset ajatukset: Tekoälyn energiakustannukset

Yhteenvetona voidaan todeta, että ChatGPT:n energiankulutus riippuu suuresti siitä, mitä mallia käytät ja miten käytät sitä. 

Kaiken kaikkiaan on kuitenkin selvää, että uudemmat mallit ovat yhä tehokkaampia ja että teollisuus pyrkii todella vähentämään ympäristövaikutuksia.

Oikean työkalun valitseminen oikeaan tehtävään voi kuitenkin vaikuttaa merkittävästi digitaaliseen jalanjälkeesi. 

Älykkäämmät työnkulut, vähemmän uusintayrityksiä ja selkeämmät kehotukset vähentävät energiankulutusta. 

Ja kun yhdistät ChatGPT:n ja Undetectable AI:n kaltaiset tarkoitukseen kehitetyt työkalut, saat molempien maailmojen parhaat puolet.

Tuotat puhdasta, hiottua ja julkaisuvalmista sisältöä vähemmällä kokeilulla ja virheillä. Tämä tarkoittaa ajan ja tietokoneen säästämistä ja kyllä, myös hieman maapalloa.

Jos haluat työskennellä älykkäämmin ja vihreämmin, rekisteröityä Undetectable AI tänään.