ChatGPT Ne Kadar Enerji Kullanır?

ChatGPT'nin ne kadar enerji kullandığına dair cevaplar için internette araştırma yaparsanız, muhtemelen buna benzer bir şey bulacaksınız:

"ChatGPT, bir Google Aramasından 10 kat daha fazla elektrik kullanır."

Eğer izleri takip ederseniz, bu iddia bir 170 sayfalık IEA raporuAlphabet başkanının 2009 yılı verilerine dayanarak yaptığı muhtemel bir tahminden alıntı yapan bir makaleye bağlantı veriyor. Eyvah!

Gerçekte, Google'ın yeni arama işlemleri 2009 yılına göre yaklaşık 10 kat daha verimlidir ve ChatGPT'nin bugün talep başına gerçek enerji kullanımı, ilk alarm zillerinin önerdiğinden çok daha düşüktür.

GPT-4o gibi daha yeni modeller verimlilik konusunda büyük adımlar atmıştır, yani ortalıkta dolaşan manşet rakamları modası geçmiş ve dürüst olmak gerekirse biraz yanıltıcıdır.

Peki, gerçek resim nedir? İşte biz de tam olarak bu konuya dalıyoruz.

Çıkarımlarınız şunlar olacak:

• ChatGPT'ye kaputun altında ne güç veriyor?
• Bir ChatGPT araması ne kadar enerji kullanır?
• Google Arama ve diğer yapay zeka modellerine kıyasla ne kadar enerji tüketiyor?
• OpenAI etkisini azaltmak için ne yapıyor?
• Yapay zeka kullanımınızı daha sorumlu hale getirmek için bir kullanıcı olarak hangi adımları atabilirsiniz?

Hadi konuya girelim.

ChatGPT'ye Ne Güç Verir?

Microsoft Azure CTO'su Mark Russinovich bize perdenin arkasına bir bakış attı bir podcast'te o Microsoft 2023'te yayınladı. 

Ona göre Microsoft, yüz milyarlarca parametreye sahip modelleri eğitebilecek bir altyapı kurdu. 

Örneğin GPT-3'ün 175 milyar parametresi vardı ki Microsoft'un Megatron-Turing modelinin 530 milyar parametreyle çalıştığını duyana kadar bu rakam kulağa çok fazla geliyordu.

Donanım açısından, orijinal 2020 OpenAI süper bilgisayarı 285.000'den fazla AMD InfiniBand bağlantılı CPU çekirdeği ve 10.000 NVIDIA V100 Tensor Core GPU'yu bir araya getirdi. 

Yeni H100 sanal makine serisi, sanal makine başına sekiz adede kadar NVIDIA H100 Tensor Core GPU'yu kümeler ve binlerce adede kadar ölçeklenebilir. 

Kısacası, ChatGPT'ye neyin güç verdiğini merak ediyorsanız, cevap temel olarak: hepsi.

Tüm çekirdekler, tüm GPU'lar, hayallerinizde biriktirebileceğiniz tüm ağ bant genişliği.

ChatGPT'nin Tahmini Enerji Kullanımı

Şimdi asıl soruya gelelim: ChatGPT soru başına ne kadar enerji kullanıyor? 

Yazdığınız her komutla buzulları eritiyormuş gibi kıyamet gibi olmasını bekleyebilirsiniz. 

Ama aslında, son tahminlere göre GPT-4o'daki tipik ChatGPT sorgusu yaklaşık 0,3 watt-saat (Wh) harcıyor. 

Bu, 2023'ün başlarında 3 watt-saat olarak belirlenen eski (ve muhtemelen yanlış) tahminlerden yaklaşık on kat daha az. 

Verimlilikteki sıçrama, daha iyi modeller, daha keskin donanım ve eski tahminlerin token sayıları konusunda çok kötümser olduğunun fark edilmesinden kaynaklanıyor.

Ölçek olarak 0,3 watt-saat, dizüstü bilgisayarınızın kahvenizi yeniden ısıtırken harcadığı enerjiden daha azdır. 

Tüm gün yoğun sorgular yapıyor olsanız bile, ChatGPT'nin günde ne kadar enerji harcadığı, örneğin klimanızı veya oyun bilgisayarınızı çalıştırmaya kıyasla oldukça düşüktür. Ama bu sadece sizin kullanımınız.

OpenAI'nin kullanıcı tabanı Şubat ayı itibariyle haftalık 400 milyonun üzerindeydi. OpenAI sözcüsü Reuters'e şunları söyledi. Yani bu konuda verimli olsanız bile çok fazla watt-saat olacaktır.

Bu 0,3 watt-saat rakamının hala biraz temkinli bir rakam olduğunu belirtmek gerekir. 

Birçok günlük sorgu muhtemelen bundan daha ucuzdur.

Ancak büyük miktarda girdi, kapsamlı çıktılar veya ağır muhakeme modelleri içeren sorgular yine de tüketimi çok daha yükseğe çıkarabilir.

Enerji Kullanımı: GPT-4 vs GPT-3.5

GPT-3.5 kullanımdan kaldırılmış olsa da, özellikle ChatGPT'nin sürümler arasında ne kadar enerji kullandığını tartışırken, mirası hala devam ediyor.

İşte GPT-4'e kıyasla enerji kullanımı hakkında verilerin söyledikleri.

Yaklaşık 175 milyar parametreye sahip GPT-3 tarzı bir model için emisyonlar zaten yoğundu, ancak daha ağır mimarisiyle GPT-4 tarzı bir modele geçmek emisyonları yaklaşık 200 kat artırabilir. 

George Hotz'a göreGPT-4, 220B parametreli GPT-3 benzeri bir modelin birbirine dikilmiş sekiz örneğidir. 

Ancak daha da önemlisi, bu modellerden sadece ikisi çıkarım sırasında gerçekten yönlendirilir, bu da bazı parametre paylaşımlarını hesaba kattığınızda gerçek eylemin yaklaşık 280B etkili parametre ile gerçekleştiği anlamına gelir (dikkat mekanizmaları için ~55B).

Bunu GPT-3.5'in 175B kurulumuyla karşılaştırdığınızda, GPT-4'ün çıkarım maliyetlerinin neden üç kata kadar daha yüksek olduğunu anlamaya başlarsınız. 

Enerji kullanımındaki artış, sadece 1,6 kat artış göstermesi gereken parametre sayısındaki artışı geride bırakmaktadır. 

Ancak böyle olmadı çünkü GPT-4'ün sorguları çok daha pahalı. 

Yapay Zeka Modellerinin Karbon Ayak İzi

Büyük yapay zeka modellerini çalıştırmak, gezegen ya da elektrik faturası için ucuz değildir.

Bu modeller ciddi bilgi işlem gücü gerektiriyor, bu da çok fazla elektrik ve çoğu durumda çok fazla emisyon anlamına geliyor.

Örneğin, GPT-3'ün eğitim için yaklaşık 1.287 MWh elektriğe ihtiyaç duyduğu bildirildi, 50 pound'un üzerinde CO2 üretiyor.

GPT-4o gibi daha yeni modeller daha da büyüktür, ancak OpenAI tam ayak izlerini yayınlamamıştır.

OpenAI'nin ChatGPT'sinin ötesinde, muhtemelen Llama 3.2 modellerinde (11B veya 90B parametreleri) çalışan Meta'nın AI asistanı var.

Yine, CO2 emisyonlarına ilişkin kesin rakamlar mevcut değildir.

Anthropic'in Claude 3.5 Sonnet'i çok daha ağırdır ve tam karbon ayak izi açıklanmadan yaklaşık 400 milyar parametre olarak tahmin edilmektedir.

Peki ya Google'ın Gemini'si? Google tam parametre sayılarını açıklamamış olsa da "Flash" ve "Pro" varyantları tarafından desteklenmektedir.

Yine de GPT-4o veya mini türevleri ile aynı seviyede oldukları sonucuna varabiliriz.

Kolaylaştırılmış modellerden bahsetmişken, DeepSeek-V3 burada sadece 37 milyar aktif parametreyle (toplam 671 milyar parametreden) esniyor. 

R1 akıl yürütme varyantı, GPT-4o'ya göre jeton başına daha hassas bir şekilde enerji tüketirken güçlü bir performans sergiliyor. 

ChatGPT Diğer Araçlarla Nasıl Karşılaştırılır?

Bu noktada, ChatGPT'nin ne kadar enerji kullandığının etkileşimde bulunduğunuz sürüme, istemlerin uzunluğuna ve kaputun altındaki mekaniğe bağlı olduğunu bilmelisiniz. 

Daha geniş yapay zeka araçları evreniyle karşılaştırıldığında ChatGPT, özellikle üst düzey modeller için enerji talepleri açısından ortalama düzeydedir. 

Ancak söz konusu pazar payı ve kullanım sıklığı olduğunda, "ortalama" bile büyük ölçekte devasa bir enerji ayak izi anlamına gelir.

Enerji kullanımı vs Google Arama

2009'da, Google tahmini tek bir arama sorgusunun enerji maliyeti 0,3 Wh'dir.

2024 yılına gelindiğinde ise bu tahmin tozlu bir hal almıştır.

Günümüz Google aramalarının aslında bu ilk tahminlerden yaklaşık 10 kat daha az enerji kullandığı ortaya çıktı. 

Bu arada, ChatGPT dahil olmak üzere ortalama bir LLM talebi için daha önce yapılan enerji tahminleri de yaklaşık 10 kat fazlaydı (2,9 Wh).

En son yapılan araştırmalara göre Google'ın enerji tüketimi 0,04 Wh ve ChatGPT 0,3 Wh, bu iki hata birbirini iptal ediyor, yani eski "LLM'ler sorgu başına Google Arama'dan yaklaşık 10 kat daha fazla enerji kullanıyor" hala geçerli... ama sadece herkes doğru şekilde yanıldığı için. 

OpenAI Etkiyi Azaltmak İçin Ne Yapıyor?

OpenAI, ChatGPT gibi modelleri eğitmenin ve çalıştırmanın enerjiyi önemli ölçüde daha hızlı tükettiğinin tamamen farkındadır. 

Bu da bizi şu soruya getiriyor: Bu konuda ne yapılıyor?

İlk olarak, OpenAI verimlilik yükseltmelerini zorluyor. 

Zamanla, GPT-4o gibi daha yeni modeller ve şimdi GPT-4.1çıkarım sırasında önemli ölçüde daha düşük enerji tüketimi için özel olarak optimize edilmiştir. 

Model mimarisi, belirteç işleme ve sunucu düzeyinde donanım iyileştirmelerindeki gelişmeler, bugün bir ChatGPT sorgusunun ne kadar enerji kullandığının aynı görev için bir yıl öncesine göre bile çok daha düşük olduğu anlamına geliyor.

OpenAI ayrıca Microsoft Azure ile iş ortaklığı yapıyor ve Azure, veri merkezlerini 2025 yılına kadar 100% yenilenebilir enerji ile çalıştırmayı taahhüt etti. 

Bu önemlidir çünkü ChatGPT'ye sorgu gönderirken daha önce bahsettiğimiz Azure süper bilgisayarlarına ping atmış olursunuz. 

Enerji kaynağının fosil yakıtlardan yenilenebilir enerjilere kaydırılması, bir sorgunun kullandığı watt miktarını doğrudan azaltmaz, ancak buna bağlı karbon ayak izini radikal bir şekilde azaltır.

Altyapının ötesinde, geleceğe yönelik bazı şeyler de oluyor. OpenAI, performanstan ödün vermeden modelleri daha küçük hale getirmenin yollarını aktif olarak araştırıyor.

Model sıkıştırma, damıtma ve daha akıllı yönlendirme (dinamik token işleme gibi) yapay zeka verimliliği çevrelerinde çok canlı konulardır. 

Bir Kullanıcı Olarak Ne Yapabilirsiniz?

OpenAI büyük yapısal değişimleri gerçekleştirirken, kullanıcıların atıkları en aza indirme ve ChatGPT'yi sorumlu bir şekilde kullanma konusunda hala oynayacakları bir rol var. 

İşte yapabilecekleriniz:

• Kısa ve öz olun: İstemlerinizi net ve sıkı bir şekilde çerçeveleyin. İşlenen her ekstra belirteç biraz enerjiye mal olur.
• İstemleri spam yapmaktan kaçının: Aynı sorunun biraz değiştirilmiş 15 versiyonunu gönderme isteğinize karşı koyun.
• Uygun modeller kullanın: Mümkün olduğunda, gündelik veya hafif işler için daha hafif, daha ucuz modelleri (teklif edilirse GPT-4o-mini gibi) seçin.
• Taleplerinizi toplu hale getirin: Bir sürü parçalı soru yerine, bunları iyi düşünülmüş tek bir soruda birleştirin.

Sonu gelmeyen yeniden hazırlama ve yeniden oluşturma işlemlerini azaltmak istiyorsanız, ilk birkaç denemeden itibaren daha temiz, yayına hazır içerik üreten özel araçlar kullanmak akıllıca olacaktır.

İşte burası Tespit Edilemeyen Yapay Zeka gibi araçlar Gizli Yazar veya Paraphraser İçeri gel. 

ChatGPT'den metninizin mükemmel versiyonunu birden fazla düzenleme ve yeniden deneme (her biri daha fazla enerjiye mal olur) yoluyla istemek yerine, hassasiyet için oluşturulmuş özel araçlarımızı kullanabilirsiniz. 

Belirli eylemler için tasarlanmış araçlar genellikle daha verimli çalışır ve tüm araçlarımız bu akıllı, enerji bilincine sahip kullanım modeline uygundur. 

Başka bir deyişle, daha az denemede daha temiz çıktı = daha az enerji yakılması = daha mutlu sunucular = dünyayı kurtarıyorsunuz, her seferinde bir gevrek paragraf.

Farkı görmeye hazır mısınız? Yapay Zeka Dedektörümüzü ve İnsancıllaştırıcımızı aşağıdaki widget'ta başlatın!

Sıkça Sorulan Sorular: ChatGPT ve Enerji Kullanımı

Son Düşünceler: Yapay Zekanın Enerji Maliyeti

Sonuç olarak, ChatGPT'nin ne kadar enerji kullandığı büyük ölçüde hangi modele eriştiğinize ve onu nasıl kullandığınıza bağlıdır. 

Ancak genel olarak, yeni modellerin daha verimli hale geldiği ve sektörün çevresel etkiyi azaltmak için gerçek çaba sarf ettiği açıktır.

Bununla birlikte, doğru görev için doğru aracı seçmek dijital ayak izinizde anlamlı bir fark yaratabilir. 

Daha akıllı iş akışları, daha az yeniden deneme ve daha net istemler, daha düşük enerji kullanımına katkıda bulunur. 

Ve ChatGPT'yi Undetectable AI gibi amaca yönelik araçlarla birleştirdiğinizde, her iki dünyanın da en iyisini elde edersiniz.

Daha az deneme-yanılma ile temiz, cilalı ve yayına hazır içerik üretirsiniz. Bu da zamandan, hesaplamadan ve evet, biraz da gezegenden tasarruf etmek anlamına geliyor.

Daha akıllı ve daha çevreci çalışmak istiyorsanız, Undetectable AI için bugün kaydolun.