ChatGPT는 얼마나 많은 에너지를 사용하나요?

인터넷에서 ChatGPT가 얼마나 많은 에너지를 사용하는지에 대한 답을 찾아보면 아마도 이와 같은 내용을 찾을 수 있을 것입니다:

"ChatGPT는 Google 검색보다 10배 더 많은 전력을 사용합니다."

흔적을 따라가면 이 주장은 다음과 같이 이어집니다. 170페이지 분량의 IEA 보고서2009년의 데이터를 기반으로 한 알파벳 회장의 추정치를 인용한 논문으로 연결되는 링크입니다. 이런!

실제로 Google의 최신 검색 운영은 2009년에 비해 약 10배 더 효율적이며, 현재 ChatGPT의 실제 요청당 에너지 사용량은 초기에 예상했던 것보다 훨씬 낮습니다.

GPT-4o와 같은 최신 모델은 효율성이 크게 향상되었기 때문에 헤드라인에 떠다니는 숫자는 시대에 뒤떨어지고 솔직히 약간 오해의 소지가 있습니다.

그렇다면 실제 상황은 어떨까요? 이것이 바로 우리가 여기서 살펴볼 내용입니다.

요점은 다음과 같습니다:

• ChatGPT의 원동력은 무엇인가요?
• 한 번의 ChatGPT 검색에 얼마나 많은 에너지가 사용되나요?
• Google 검색 및 다른 AI 모델과 비교했을 때 에너지 소비량은 얼마나 되나요?
• OpenAI는 그 영향을 줄이기 위해 어떤 노력을 하고 있나요?
• AI 사용의 책임감을 높이기 위해 사용자가 취할 수 있는 조치는 무엇인가요?

시작해 보겠습니다.

ChatGPT의 힘은 무엇인가요?

Microsoft Azure의 CTO인 마크 루시노비치가 장막 뒤의 비하인드 스토리를 들려주었습니다. 팟캐스트에서 그 Microsoft 2023년 발표. 

그에 따르면 Microsoft는 수천억 개의 매개 변수로 모델을 훈련할 수 있는 인프라를 구축했습니다. 

예를 들어 GPT-3에는 1,750억 개의 매개 변수가 있는데, Microsoft의 메가트론 튜링 모델이 5,300억 개로 유연해졌다는 소식을 듣기 전까지는 너무 많은 것처럼 들릴 수 있습니다.

하드웨어 측면에서 보면, 오리지널 2020 OpenAI 슈퍼컴퓨터는 285,000개 이상의 AMD 인피니밴드 연결 CPU 코어와 10,000개의 NVIDIA V100 텐서 코어 GPU가 결합되어 있습니다. 

새로운 H100 가상 머신 시리즈는 가상 머신당 최대 8개의 엔비디아 H100 텐서 코어 GPU를 클러스터링하며, 다음과 같은 고성능 인프라에서 사용되는 것과 같이 수천 개까지 확장할 수 있습니다. Minecraft 서버 호스팅 를 사용하여 지연 시간이 짧고 가동 시간이 긴 경험을 제공합니다.

간단히 말해, ChatGPT의 기능이 무엇인지 궁금하다면 기본적으로 모든 기능을 제공합니다.

모든 코어, 모든 GPU, 모든 네트워크 대역폭을 꿈에 그리던 대로 확보할 수 있습니다.

ChatGPT의 예상 에너지 사용량

이제 진짜 질문으로 넘어가서 ChatGPT는 질문당 얼마나 많은 에너지를 사용하나요? 

입력할 때마다 빙하가 녹는 것처럼 묵시록적인 내용을 기대할 수도 있습니다. 

하지만 실제로 최근 추산에 따르면 GPT-4o에서 일반적인 ChatGPT 쿼리는 약 0.3 와트시(Wh)를 소비한다고 합니다. 

이는 2023년 초에 3와트시로 예상했던 (부정확할 가능성이 있는) 이전 추정치보다 약 10배나 적은 수치입니다. 

효율성의 도약은 더 나은 모델과 더 선명한 하드웨어, 그리고 이전 추정치가 토큰 수에 대해 지나치게 비관적이었다는 사실을 깨달은 데서 비롯되었습니다.

규모 면에서 0.3와트시는 노트북이 커피를 재가열하는 동안 사용하는 에너지보다 적은 양입니다. 

하루 종일 많은 쿼리를 처리하더라도 ChatGPT의 하루 에너지 사용량 수치는 에어컨이나 게임용 PC를 가동하는 것과 비교하면 여전히 매우 적은 수준입니다. 하지만 이는 사용량에 불과합니다.

OpenAI의 사용자 기반은 2월 기준 주간 4억 명을 넘어섰습니다. OpenAI 대변인은 로이터 통신과의 인터뷰에서 다음과 같이 말했습니다.. 따라서 아무리 효율적으로 사용한다고 해도 많은 와트시를 소비하게 됩니다.

이 0.3와트시라는 수치는 여전히 조심스러운 편이라는 점에 유의하세요. 

일상적인 쿼리는 이보다 더 저렴한 경우가 많을 것입니다.

그러나 대량의 입력, 광범위한 출력 또는 강력한 추론 모델을 포함하는 쿼리는 여전히 사용량을 훨씬 더 많이 늘릴 수 있습니다.

에너지 사용: GPT-4 대 GPT-3.5

GPT-3.5는 일몰되었지만 그 유산은 여전히 남아 있으며, 특히 여러 버전에서 ChatGPT가 얼마나 많은 에너지를 사용하는지에 대해 논의할 때 더욱 그렇습니다.

GPT-4와 비교한 에너지 사용량에 대한 데이터는 다음과 같습니다.

약 1,750억 개의 매개 변수가 있는 GPT-3 스타일 모델의 경우 이미 배출량이 많았지만, 더 무거운 아키텍처의 GPT-4 스타일 모델로 전환하면 배출량이 약 200배까지 증가할 수 있습니다. 

조지 하츠에 따르면GPT-4는 220B 매개변수 GPT-3 같은 모델을 8개의 인스턴스로 묶은 것입니다. 

하지만 중요한 점은 추론 중에 실제로 라우팅되는 모델은 두 개뿐이며, 일부 매개변수 공유(주의 메커니즘의 경우 약 550억 개)를 고려하면 실제 동작은 약 280억 개의 유효 매개변수로 이뤄진다는 점입니다.

이를 GPT-3.5의 175B 설정과 비교하면 GPT-4의 추론 비용이 최대 3배 더 높은 이유를 이해할 수 있습니다. 

에너지 사용량 증가는 1.6배 증가에 그쳐야 할 단순한 매개변수 수 증가를 능가하는 수치입니다. 

하지만 GPT-4의 쿼리가 훨씬 더 비싸기 때문에 그런 일은 일어나지 않았습니다. 

AI 모델의 탄소 발자국

대규모 AI 모델을 실행하는 것은 지구와 전기 요금 측면에서 결코 저렴하지 않습니다.

이러한 모델에는 상당한 컴퓨팅 성능이 필요하므로 많은 전력을 소비하고 많은 경우 탄소 배출량이 발생합니다.

예를 들어, GPT-3는 훈련에 약 1,287MWh의 전력이 필요한 것으로 알려졌습니다, 50 파운드 이상의 CO2 배출.

GPT-4o와 같은 최신 모델은 훨씬 더 크지만 OpenAI는 정확한 설치 공간을 공개하지 않았습니다.

OpenAI의 ChatGPT 외에도 Llama 3.2 모델(11B 또는 90B 매개변수)에서 실행되는 Meta의 AI 어시스턴트가 있습니다.

다시 말하지만, CO2 배출량에 대한 정확한 수치는 제공되지 않습니다.

앤트로픽의 클로드 3.5 소네트는 무게가 훨씬 무거워 약 4,000억 개로 추정되며 정확한 탄소 배출량은 공개되지 않았습니다.

그리고 구글의 제미니는? '플래시'와 '프로' 버전으로 구동되지만, 구글은 정확한 매개변수 수치를 공개하지 않았습니다.

여전히 GPT-4o 또는 그 미니 버전과 같은 구장에 있다고 추론할 수 있습니다.

간소화된 모델에 대해 말하자면, DeepSeek-V3는 총 671억 개 중 370억 개의 활성 매개변수만으로 유연하게 작동합니다. 

R1 추론 변형은 GPT-4o보다 토큰당 에너지를 더 섬세하게 소모하면서 강력한 성능을 보여줍니다. 

ChatGPT는 다른 도구와 어떻게 다른가요?

이 시점에서 ChatGPT가 사용하는 에너지의 양은 상호작용하는 버전, 프롬프트의 길이, 내부 메커니즘에 따라 달라진다는 것을 알아야 합니다. 

더 큰 AI 도구의 세계와 비교할 때, ChatGPT는 특히 하이엔드 모델의 경우 에너지 요구량 측면에서 평균 정도입니다. 

하지만 시장 점유율과 사용 빈도를 고려하면 '평균'이라는 수치도 대규모로 보면 엄청난 에너지 발자국을 남기는 것으로 해석됩니다.

에너지 사용량 대 Google 검색

2009년으로 돌아갑니다, Google 추정 단일 검색 쿼리의 에너지 비용을 0.3Wh로 설정했습니다.

2024년으로 앞당기면 이 추정치는 먼지가 되어 버립니다.

오늘날의 Google 검색은 실제로 초기 추정치보다 약 10배 적은 에너지를 사용하는 것으로 나타났습니다. 

한편, ChatGPT를 포함한 평균 LLM 요청에 대한 이전 에너지 추정치도 약 10배(2.9Wh)나 높았습니다.

최신 연구를 통해 구글의 에너지 소비량 0.04Wh 를 0.3Wh로, 이 두 가지 실수는 서로 상쇄되어 "LLM은 Google 검색보다 쿼리당 약 10배 더 많은 에너지를 사용한다"는 기존의 주장은 여전히 유효하지만, 이는 모두가 올바른 방식으로 잘못 알고 있었기 때문일 뿐입니다. 

영향을 줄이기 위해 OpenAI는 무엇을 하고 있나요?

OpenAI는 ChatGPT와 같은 모델을 훈련하고 실행하면 훨씬 빠른 속도로 에너지가 소모된다는 사실을 잘 알고 있습니다. 

그렇다면 이에 대해 무엇을 하고 있을까요?

우선, OpenAI는 효율성 업그레이드를 추진하고 있습니다. 

시간이 지남에 따라 GPT-4o와 같은 최신 모델과 현재 GPT-4.1는 추론 중 에너지 소비를 현저히 낮추도록 특별히 최적화되었습니다. 

모델 아키텍처, 토큰 처리, 서버 수준 하드웨어 개선의 발전으로 오늘날 ChatGPT 쿼리의 에너지 사용량은 동일한 작업의 경우 1년 전보다 훨씬 낮아졌습니다.

OpenAI는 Microsoft Azure와도 파트너 관계를 맺고 있습니다. Azure는 2025년까지 100% 재생 에너지로 데이터 센터를 운영하기로 약속했습니다.. 

이는 중요한데, ChatGPT에 쿼리를 던질 때 앞서 설명한 Azure 슈퍼컴퓨터에 핑을 보내게 되기 때문입니다. 

에너지원을 화석 연료에서 재생 에너지로 전환한다고 해서 쿼리가 사용하는 전력량이 직접적으로 줄어들지는 않지만, 쿼리와 관련된 탄소 발자국을 근본적으로 줄일 수 있습니다.

인프라 외에도 미래를 향한 몇 가지 일이 더 진행되고 있습니다. OpenAI는 성능 저하 없이 모델을 더 작게 만들 수 있는 방법을 적극적으로 연구하고 있습니다.

모델 압축, 증류, 더 스마트한 라우팅(동적 토큰 처리 등)은 모두 AI 효율성 분야에서 매우 생생한 주제입니다. 

사용자로서 무엇을 할 수 있나요?

OpenAI가 큰 구조적 변화를 처리하는 동안에도 사용자는 여전히 낭비를 최소화하고 책임감 있게 ChatGPT를 사용하는 역할을 해야 합니다. 

할 수 있는 일은 다음과 같습니다:

• 간결하게 하세요: 프롬프트를 명확하고 단단하게 구성하세요. 토큰을 추가로 처리할 때마다 약간의 에너지가 소모됩니다.
• 스팸성 메시지를 피하세요: 같은 질문의 단어를 약간 바꾼 버전 15개를 제출하고 싶은 유혹을 뿌리치세요.
• 적절한 모델을 사용합니다: 가능하면 캐주얼한 작업이나 가벼운 작업에는 더 가볍고 저렴한 모델(제공되는 경우 GPT-4o-mini 등)을 선택하세요.
• 요청을 일괄 처리합니다: 여러 개의 단편적인 질문 대신 신중하게 고려한 하나의 질문으로 통합하세요.

끝없이 반복되는 프롬프트와 재생성을 줄이려면 처음 몇 번의 시도에서 깔끔하고 게시할 수 있는 콘텐츠를 생성하는 전용 도구를 사용하는 것이 현명합니다.

여기에서 감지할 수 없는 AI 다음과 같은 도구 스텔스 라이터 또는 패러프레이저 들어오세요. 

여러 번의 편집과 재시도를 통해 완벽한 버전의 텍스트를 ChatGPT에 요청하는 대신(각각 더 많은 에너지가 소요됨), 정확성을 위해 제작된 전문 도구를 사용하면 됩니다. 

특정 작업을 위해 설계된 도구는 일반적으로 더 효율적으로 작동하며, 모든 도구는 이러한 스마트하고 에너지를 고려한 사용 모델에 적합합니다. 

다시 말해, 더 적은 시도로 더 깨끗한 출력 = 더 적은 에너지 소모 = 더 행복한 서버 = 한 번에 한 문단씩 세상을 구하는 것입니다.

차이를 확인할 준비가 되셨나요? 아래 위젯에서 AI 디텍터와 휴머나이저를 실행하세요!

자주 묻는 질문: ChatGPT 및 에너지 사용

최종 생각: AI의 에너지 비용

결론적으로 ChatGPT가 사용하는 에너지의 양은 어떤 모델에 액세스하고 어떻게 사용하는지에 따라 크게 달라집니다. 

하지만 전반적으로 최신 모델의 효율성이 높아지고 있고 업계가 환경에 미치는 영향을 줄이기 위해 실질적인 노력을 기울이고 있는 것은 분명합니다.

즉, 적합한 작업에 적합한 도구를 선택하면 디지털 발자국에 의미 있는 차이를 만들 수 있습니다. 

더 스마트한 워크플로, 더 적은 재시도, 더 명확한 프롬프트가 모두 에너지 사용량 감소로 이어집니다. 

그리고 ChatGPT를 언디텍터블 AI와 같은 특수 제작된 도구와 결합하면 두 가지 장점을 모두 누릴 수 있습니다.

시행착오를 줄이면서 깔끔하고 세련된, 바로 게시할 수 있는 콘텐츠를 생성할 수 있습니다. 즉, 시간과 컴퓨팅 비용을 절약하고 지구도 조금이나마 보호할 수 있습니다.

더 스마트하고 친환경적으로 일하고 싶다면, 지금 언디텍터블 AI에 가입하세요.